Created
August 31, 2024 10:04
-
-
Save TomoG29/065b4f7c823d66b82e9243e290160c4b to your computer and use it in GitHub Desktop.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
from janome.tokenizer import Tokenizer | |
t = Tokenizer() | |
analyze_text = 'これはサンプルテキストであり、この文章が解析されています。' | |
for token in t.tokenize(analyze_text): | |
print(token) | |
''' | |
結果 | |
これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ | |
は 助詞,係助詞,*,*,*,*,は,ハ,ワ | |
サンプル 名詞,一般,*,*,*,*,サンプル,サンプル,サンプル | |
テキスト 名詞,一般,*,*,*,*,テキスト,テキスト,テキスト | |
で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ | |
あり 助動詞,*,*,*,五段・ラ行アル,連用形,ある,アリ,アリ | |
、 記号,読点,*,*,*,*,、,、,、 | |
この 連体詞,*,*,*,*,*,この,コノ,コノ | |
文章 名詞,一般,*,*,*,*,文章,ブンショウ,ブンショー | |
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ | |
解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ | |
さ 動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ | |
れ 動詞,接尾,*,*,一段,連用形,れる,レ,レ | |
て 助詞,接続助詞,*,*,*,*,て,テ,テ | |
い 動詞,非自立,*,*,一段,連用形,いる,イ,イ | |
ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス | |
。 記号,句点,*,*,*,*,。,。,。 | |
''' |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment