Skip to content

Instantly share code, notes, and snippets.

Show Gist options
  • Save gh640/962ea29a25b8ae98904650ce621ee3af to your computer and use it in GitHub Desktop.
Save gh640/962ea29a25b8ae98904650ce621ee3af to your computer and use it in GitHub Desktop.
tiktoken GPT-4o Japanese hiragana or katakana
3022
3385
3826
3829
4025
4156
4344
4868
5042
5205
5280
5330
5525
5598
5662
5711
5784
6339
6632
6660
6676
6996
7052
7128
7277
7297
7500
7787
8334
8446
8468
8547
8574
8870
8930
9007
9472
9763 ー�
10294
10372 ・・
10398
10459
11275
11792
11852
12016
12288
12504
13094
13231
13548
13668
14141
14214
14274 無し
14383
14429 ます
14515
14652 さん
14974
15121 です
15161
15353
15376
15707
16056
16211
16797
16836
17693
17768
17868
17897
18290
18368
18524
18606
18871 名無し
19111
19160
19280
19285
19418 ック
19913
20353
20473
20951
20968
21225
21477 ット
21641 ・・・
21744 ント
21870
22440 して
22708
23085 した
23130
23760
24065
24935
25439 ース
25540
25607
25686
25965
26051
26139 名無しさん
27160 ール
27354
27500 から
27903
28131
28144
28565 あり
29236
29884
30651 ング
30677 って
31234
31632 イン
31815
31859 この
31901 います
31933 ード
32552 ました
32651 ラン
32894 その
32994
33030 イト
34022
34471 ート
34507 名無し
34803 また
35372
35918 メント
36201 さい
36389
36454
36608
36743
36962
36976 リー
37104
37541
37748
37938
38236 スト
38720 します
38763 フ�
39065 する
39342 」と
39700
40026
40045 ーム
41114 ージ
41460 コメント
41523 ップ
41642
41675
41977
42523 ショ
42562
42917 った
42993
43147 では
43644 ター
43759
44178 くだ
44286
44900 ください
44948 名無しさん
44965
44968 ござ
45165
45525 ログ
45996 でも
46050 イズ
46105 しか
46231
47334 それ
47592 ない
47968 ディ
48669 とう
49017
50198 いう
51978 ュー
52703
52753
53147 ンク
53217 こと
53607 ありが
53852
54125
54282 ピー
54342 まで
54459 これ
54516
55078
55080 そう
55300 ありがとう
55914
56076 ただ
56204
57684 ります
57692 ション
57843
57987 ラック
58490
58956 しかし
58997 ませ
59361 ブログ
59809 ございます
59866 そして
60445 フォ
60456 サイズ
60677
60788 こん
60922
61437 ティ
61503 ライ
61842 っぱ
62943
63355 スタ
63366 ません
63386 しい
63462 サイト
63601
63738 セット
63837
64170 いい
64479 @お
64598 され
64655 いて
65629 フィ
66082 にな
66881 ーカ
66972 クリ
67023 より
67637 ちら
67759 バー
67920 ファ
67938 ーツ
67985 という
68129 ラー
68572 っぱい
68697 しく
68708 ャン
68857 には
68871 ンサ
69284
69609
69686
69719 ので
69874 ンド
69920 いっぱい
70352 ランド
70387
70588
70628 こちら
72250 ーパ
72342 きを
72683 よう
72760 ッド
73045 など
73890
73904 キング
73977 ある
74066 リア
74074 なん
74221 」を
74259 レス
74885 リンク
75119 スポ
75206 ・・・・
75636 ッグ
75712 読む
75900 その他
76286 ・・・
76364
76427 ですが
76897 @お腹
77101 ンズ
77123 ックス
77298 @お腹いっぱい
77764 ーク
77798 いました
77939 イント
78169
78239 イル
78470 コミ
78566 レビ
78673 でき
79607
79768
79854 しました
80294
80665 ページ
80875 見る
81212
81791
81896 お願
81971
82159
82198 テゴ
82412 ステ
82488 ちゃ
82714 っと
82744 クセ
82904
82965 ーパー
83001 コン
83142 なし
83252
83662 シャ
83699
83989 けば
84068 につ
84251
84305 。また
84384
84900 フト
85478 ちは
85490
85498 ウン
85545 どう
85633 コピー
85774
86165 風吹けば
86169 いる
86449
86563 タイ
86793
87123 風吹けば名無し
87186 続きを
87353 わせ
88716 ーマ
89584
89874 んな
89941 ディース
90156
90255 」の
90288 恐縮です
90602 @恐縮です
90678
90798 、お
90896 ーカー
91243 ープ
91659 と思
91667 こんに
91694 との
92005 ッチ
92182 レン
92253 合わせ
92486 バック
92559 ランキング
92639
92994 ポイント
93101 ょう
93460
93672 カテゴ
93724 プロ
93852 すす
93926 ありがとうございます
94079 まと
94408 について
94642 すすめ
95197 ケース
95363
95839 こんにちは
95928 でした
96389 ンサー
96558 まとめ
97294 お願い
97712
97907 ーー
98451 いた
98560 ・・・
99114 ロー
99174 アル
100291 ービ
100365 アクセ
100392 ーブ
100702 ラス
100875 なら
101370
101540 えば
101560 あります
101606 がお
102351 問い
102586 とな
102823 プレ
103114 との差
103269 ジャ
103429
103554 しょう
103912 ため
103941 ヶ月
104099 コピー
104293 ちゃん
105097 問い合わせ
105182 イク
105224
105456 ーン
105931 続きを読む
106170 ニュ
106368 さて
106409 ございました
107090
107105
107384 いや
107842 ザー
107871 への
108006 ケース
108576 風吹けば名無し
108629
108809 まして
109289 プリ
109418 ここ
109574 レディース
109585 ラックバック
109762
110160 」は
110484 レビュー
110774
111317
111395 ービス
111410 ケット
111469
111674 ブランド
112142 ライン
113862 ありがとうございました
114495
114545 もう
114998 アイ
115032 ブル
115283 ンダ
115557 メンズ
115726 オン
115763
115811 口コミ
115868 チェ
116478 ウェ
116908 はこちら
116995 送り
117391 この記事
117789 おすすめ
118303 ルト
118712 トラックバック
119438 かわ
119590 ンス
119995 なく
120288 イス
120362 送りします
120447 。しかし
120725
121151 知ら
121242 まず
121562 ーバ
121587
121885 だけ
121986 スーパー
122223 ています
122369 とは
122561 ろしく
122636 もの
123086 がお送りします
123184 キャ
123406 。その
123622 スポンサー
123780 がお送
124101 ータ
124225 」が
124256 サービス
124494 イド
124694 シュ
124747 さら
124770 イヤ
124836 ーズ
124871 しています
125438 ーテ
125442 アクセス
125535 ウト
126128 コード
126318
126809 パン
127098 スマ
127115 ころ
127204 おります
127240 ネル
127850 フォーム
128194
128237 ニュース
129438 のお
129655 フェ
129739
129758 取り
130170 レー
130423
130685 スク
130799 下さい
131230
131454 しゃ
131656 ですね
131888 よろしく
132285 カテゴリ
132623 たい
133169 える
133197 込み
133706 商品の
134133
134466 スター
134549 メール
134564 クト
134572 いつ
134599
135053 ご了承
135062 の日
135396 ワイト
135581 かった
136526 お問い合わせ
137015 お願いします
137077 まり
137416 付き
137782 そんな
137814 そこ
137950 今回は
137951 さらに
138288 入り
139122 カラー
139427 バッグ
139693 れば
139754 ところ
139832 これは
140118
140502 ダー
141036 ジェ
141644 だから
142015 ロン
142621
143114 テル
143402 サイズ
143679 ナー
143729 ーチ
143814 名無しの
143825 キー
144397 ーデ
144444 好き
144531 ありません
144556 ーナ
144583 カード
144595 」に
144943 )は
145354 ッズ
145461 なので
145713
145815 くら
146281 クリック
146381 ッション
146591 は禁止
146703 りました
146906 の名無しさん
147058 VIPがお送りします
147131 」という
147368
147416 われ
147589 ーション
147847 いただ
147857 みに
147965
148049 。それ
148190
148229
148343
148386 、その
148634 払い
148707 セン
148746 してください
149022 、と
149890 祝い
150026
150066 レット
150163 あと
150665 )の
150692 ールド
150817 イトル
150902 なお
151226 」です
151245 ばん
151505 タン
151852 アン
151927 なた
152245 イン
152249 タグ
152546 できます
152705 タイプ
153243 知らせ
153294 デル
153386 カー
153773 ことで
154042 ジュ
154079 転載は禁止
154494 アップ
154752 なる
155012
155652 もっと
156498 じゃ
156964 また
157003 ンプ
157095 リング
157351 でしょう
157573 もし
157628 ホーム
157904
158141 ネット
158163 ビー
158209 を書
158266 、ご
158316 。ただ
158341 私は
158438 を見る
158622 じめ
158777 によ
159118 ベント
159336 しゃれ
159556 もち
159656 ブラック
159717 マン
160028 こんばん
160043 ラム
160112 クロ
160209 ゲーム
160440 ゼント
160674 ほん
161177 とも
161544 ベル
161786 キャン
161833 トップ
162021 ッシュ
162163 ほど
162982 ーフ
163300
163626 ニュー
163799 ニー
163827 リーズ
164175 メリ
164403 アイ
164454 があります
164518 インチ
164609 ブラ
164690
164870 すると
164885 テン
165732 かな
166006 ファ
166490 ーポ
166599 まだ
166780 にも
167309 日の
167408 はい
167770 その他
167782 、この
167898 ろん
167945 この
168092 アウト
168248 チェック
168396 平均との差
168699 タイトル
168766 メーカー
169020 ロード
169037 」で
169195 中央値との差
169214
169651 まあ
170065 さん
170231 ーワ
170411 今日は
170450 えて
170597 チャ
170657 リエ
170937 もちろん
171169 の場合
171237 フォン
171403 スーパーコピー
171566 ラク
172369 の記事
172432 フィール
172627 例えば
172712 なの
173276 になります
174481 ッフ
174603 ニメ
174766 スーパー
174771 ーティ
175129 ショップ
175144 シャ
175239 リン
175513
175739 と言
175869 を書く
176084 ぜひ
176315 として
176394 ジョ
176890 ブラック
177115
177401 ユー
177495 れる
177731 ンタ
177776 あなた
177961 ライト
177976 ご了承ください
178076 イブ
178655 オンライン
178757 こんばんは
178826 しま
179657 日は
179731 ーダ
179799 になる
179943 読み
180038 そこで
180119 ちな
180276 ブランド
180415 ライブ
180478 ですよ
180798 ーーーー
181062 ドル
181067 つまり
181199 ーブル
181308 。そして
181357 感じ
181360 ザイン
181603 、それ
181618 ジャン
182131 目です
182547
182863 だった
182943 )が
183299 当に
183311 。でも
183457 セル
183480 スメ
183558
183897 クロ
184926
185024 カテゴリー
185051 クラ
185100 こう
185145 ドラ
185522 ヴィ
185573 申し
185631 ビュー
185829 ホテル
185887 れて
186120
186585 とか
186933 届け
187088 コン
187415 高さ
187451 モデル
187542 ちなみに
187794 ナル
188322 バッグ
188599 された
188840 のみ
188888 マー
188929 テレビ
189265 ピング
189641 をご
190526
190535 ーワード
190841 っています
191082 プレ
191251 ・`
191902 コメント
191951 愛い
192065 イベント
192335
192474 スペ
192528 たり
192583 しております
192627 楽し
193702 ても
193903 なが
193953 の商品
194096 ぷん
194118 りまして
194528 ・・・。
195002 プロフィール
195044 ーぷん
195179 お気
195803
195892 キャ
196032 ウォ
196095
196269
196965 ニング
196993 されています
197494 カル
197513 @おーぷん
197837 。この
197845 「あ
197932 日に
197989 シリーズ
198315 まぁ
198348 スタッフ
198353 テーマ
199164
199196 ´・
199649 、名無し
199773 ッピング
@gh640
Copy link
Author

gh640 commented May 17, 2024

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment