Created
May 17, 2024 01:05
-
-
Save gh640/0adaf39ec3c2464536dd0c3ae3c9ff3a to your computer and use it in GitHub Desktop.
tiktoken GPT-4 Turbo Japanese hiragana or katakana
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| 9458 | ・ | |
|---|---|---|
| 11972 | ー | |
| 15024 | し | |
| 15682 | は | |
| 16073 | ン | |
| 16144 | の | |
| 16449 | ・・ | |
| 16556 | で | |
| 16995 | い | |
| 17129 | ま | |
| 17663 | す | |
| 19732 | と | |
| 20230 | に | |
| 20251 | ト | |
| 21105 | し� | |
| 22398 | ス | |
| 22957 | こ | |
| 25005 | ー� | |
| 25197 | イ | |
| 25827 | ん | |
| 26269 | ッ | |
| 26854 | な | |
| 27929 | そ | |
| 28713 | た | |
| 29220 | ク | |
| 29295 | が | |
| 30297 | う | |
| 30369 | る | |
| 30512 | を | |
| 30591 | あ | |
| 30813 | さ | |
| 31195 | ・・・ | |
| 31431 | り | |
| 32131 | ラ | |
| 32149 | か | |
| 32977 | も | |
| 33121 | れ | |
| 33334 | お | |
| 33503 | ら | |
| 33541 | ます | |
| 33710 | ル | |
| 36785 | だ | |
| 37823 | リ | |
| 38144 | て | |
| 38248 | ー� | |
| 38641 | です | |
| 39850 | メ | |
| 39880 | ア | |
| 39926 | して | |
| 41758 | グ | |
| 42634 | ロ | |
| 42891 | っ | |
| 43514 | ち | |
| 44971 | レ | |
| 45923 | ド | |
| 47260 | コ | |
| 47307 | タ | |
| 47884 | く | |
| 48154 | ご | |
| 48552 | ック | |
| 50834 | き | |
| 51330 | この | |
| 52414 | ント | |
| 52591 | フ | |
| 52884 | ブ | |
| 53900 | また | |
| 54926 | する | |
| 55031 | から | |
| 56051 | した | |
| 57183 | ィ | |
| 57207 | シ | |
| 57326 | プ | |
| 57903 | あり | |
| 57933 | テ | |
| 57980 | よ | |
| 58426 | その | |
| 58942 | え | |
| 59739 | つ | |
| 60868 | サ | |
| 61398 | ース | |
| 61689 | います | |
| 62004 | め | |
| 62903 | キ | |
| 63415 | ・ | |
| 64121 | み | |
| 64178 | ール | |
| 64810 | セ | |
| 65299 | ウ | |
| 65316 | さい | |
| 65575 | ード | |
| 66383 | 」と | |
| 66953 | バ | |
| 67016 | しか | |
| 67075 | ット | |
| 67645 | ど | |
| 68042 | コ | |
| 68408 | デ | |
| 68581 | ャ | |
| 68759 | マ | |
| 69847 | こん | |
| 70563 | ピ | |
| 70897 | ださい | |
| 71289 | や | |
| 71493 | カ | |
| 71634 | スト | |
| 72315 | ください | |
| 72342 | せ | |
| 72369 | ュ | |
| 72661 | でも | |
| 73590 | メント | |
| 75694 | ざ | |
| 76171 | イン | |
| 76428 | ジ | |
| 76622 | け | |
| 76739 | エ | |
| 76947 | って | |
| 77121 | ござ | |
| 77181 | では | |
| 77693 | それ | |
| 77750 | ログ | |
| 78183 | わ | |
| 78205 | ョ | |
| 78349 | ェ | |
| 78434 | します | |
| 78459 | チ | |
| 78525 | ズ | |
| 78683 | ニ | |
| 78699 | とう | |
| 78767 | ージ | |
| 78983 | イト | |
| 79721 | ました | |
| 80050 | ス | |
| 80539 | そして | |
| 80673 | しかし | |
| 80805 | パ | |
| 81219 | ば | |
| 84389 | され | |
| 84477 | ート | |
| 85663 | 無し� | |
| 85667 | �ん | |
| 85701 | これ | |
| 85777 | ありが | |
| 85791 | ろ | |
| 86421 | ・・・ | |
| 86614 | ちは | |
| 86790 | ありがとう | |
| 87474 | 無しさん | |
| 87641 | こんに | |
| 89154 | ポ | |
| 90115 | こんにちは | |
| 90178 | コメント | |
| 90620 | ただ | |
| 90962 | オ | |
| 91062 | ム | |
| 91482 | ビ | |
| 93298 | ピー | |
| 93488 | ラン | |
| 94550 | ング | |
| 94632 | ア | |
| 95371 | を | |
| 95604 | いう | |
| 96452 | ナ | |
| 96841 | フ� | |
| 97135 | ありがとうござ | |
| 97718 | の | |
| 98369 | さん | |
| 99695 | ペ | |
| 99959 | ダ | |
| 100204 | じ |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
See also: