Skip to content

Instantly share code, notes, and snippets.

@TomoG29
Created August 31, 2024 10:04
Show Gist options
  • Save TomoG29/065b4f7c823d66b82e9243e290160c4b to your computer and use it in GitHub Desktop.
Save TomoG29/065b4f7c823d66b82e9243e290160c4b to your computer and use it in GitHub Desktop.
from janome.tokenizer import Tokenizer
t = Tokenizer()
analyze_text = 'これはサンプルテキストであり、この文章が解析されています。'
for token in t.tokenize(analyze_text):
print(token)
'''
結果
これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
サンプル 名詞,一般,*,*,*,*,サンプル,サンプル,サンプル
テキスト 名詞,一般,*,*,*,*,テキスト,テキスト,テキスト
で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
あり 助動詞,*,*,*,五段・ラ行アル,連用形,ある,アリ,アリ
、 記号,読点,*,*,*,*,、,、,、
この 連体詞,*,*,*,*,*,この,コノ,コノ
文章 名詞,一般,*,*,*,*,文章,ブンショウ,ブンショー
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ
さ 動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ
れ 動詞,接尾,*,*,一段,連用形,れる,レ,レ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
い 動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。 記号,句点,*,*,*,*,。,。,。
'''
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment