Longest Chinese tokens in gpt4o

longest_chinese_tokens_gpt4o.py

import tiktoken
from tqdm import tqdm

length_dict = {}
T = tiktoken.get_encoding("o200k_base")
for i in tqdm(range(T.n_vocab)):
    try: length_dict[i] = len(T.decode([i]).encode("utf-8"))
    except: pass
length_dict = dict(sorted(length_dict.items(), key=lambda t: -t[1]))

f = open("./output.txt", "w")
for item in tqdm(length_dict):
    if any([0x4e00 <= ord(c) <= 0x9fff for c in T.decode([item])]): # if contains any Chinese char, print it to file
        print(item, T.decode([item]), file=f)
f.close()

# Note: Head 300 lines of output.txt:
"""
181081  微信公众号天天中彩票
185118 _日本毛片免费视频观看
170996  微信上的天天中彩票
187716  微信里的天天中彩票
188394  天天中彩票大神推荐
113125 大发展有限公司官网
128031 久久免费热在线精品
177431 给主人留下些什么吧
55935  彩神争霸大发快三
75794  天天中彩票中大奖
94212  天天中彩票双色球
115205  天天中彩票不中返
116852  中国福利彩票天天
118406  天天中彩票为什么
148388  微信的天天中彩票
148502  天天彩票与你同行
153710  天天中彩票一等奖
154365  天天中彩票中奖了
154809 无码不卡高清免费v
155288  手机上天天中彩票
160229  天天中彩票是不是
165019  天天中彩票怎么买
172750  大发快三大小单双
173607  彩神争霸官方下载
177989 ,最新高清无码专区
184969 _日本一级特黄大片
187822  大发快三开奖结果
187980  天天中彩票公众号
194217  全民彩票天天送钱
197144  手机版天天中彩票
198105  天天中彩票不能买
89409 免费视频在线观看
122333 无码不卡高清免费
122712 无码一区二区三区
125694 毛片免费视频观看
135234 最新高清无码专区
135504 公众号天天中彩票
147058 VIPがお送りします
162877 毛片高清免费视频
176039 精品一区二区三区
187810 在线观看中文字幕
193825 中国特色社会主义
26064  天天中彩票怎么
34755  天天中彩票提现
35705  微信天天中彩票
40492  天天中彩票中奖
49649  彩神争霸邀请码
53542  天天中彩票微信
75025  天天中彩票可以
75028  天天中彩票足球
77143  天天中彩票追号
78782  天天中彩票如何
78893  天天中彩票软件
79752  天天中彩票不能
81394  手机天天中彩票
83407  天天中彩票中了
86083  腾讯天天中彩票
88493  天天中彩票篮球
94064  天天中彩票大奖
102317  天天中彩票官网
104796  天天中彩票足彩
107055  彩神争霸怎么样
108576  風吹けば名無し
116381  天天中彩票派奖
120521  天天爱彩票怎么
123662  天天中彩票提款
123841  彩神争霸大发快
128600  大发时时彩计划
133517  天天中彩票投注
134156  天天中彩票公司
134796  天天中彩票实名
134950  天天中彩票怎样
135161  大发时时彩开奖
138053  天天中彩票有人
145836  天天爱彩票中奖
148997  天天中彩票无法
149168  大发时时彩怎么
150771  彩神争霸电脑版
151112  全民彩票天天送
152887  天天中彩票开奖
155368  福利彩票天天彩
158384  天天中彩票这个
160029  大发快三是国家
160131  大发快三是不是
160267  天天中彩票网站
160348  天天中彩票在哪
164429  天天中彩票官方
165024  海南天天中彩票
170965  天天爱彩票提现
175060  天天大奖彩票站
177337  天天彩票中大奖
177861  天天中彩票人工
178030  天天中彩票任选
180651  天天中彩票网络
185991  高频彩大发快三
186348  大发快三是什么
187158  天天爱彩票网站
187308  天天中彩票出票
187516  大发快三走势图
191179  大发快三怎么看
194062  彩神争霸是不是
196469  天天中彩票彩金
196894  天天中彩票腾讯
197077  天天中彩票充值
77298 ＠お腹いっぱい
87123 風吹けば名無し
123086 がお送りします
129032 高清毛片在线看
134370 一本道高清无码
136840 久久综合久久爱
138985 下载安装到手机
155245 中华人民共和国
160540 彩神争霸邀请码
177976 ご了承ください
181679  qq的天天中彩票
182584 热这里只有精品
193339 彩彩票与你同行
194489 夫妻性生活影片
198170 av不卡免费播放
30315  天天中彩票是
32023  天天中彩票中
45876  天天中彩票有
46669  天天中彩票app
51693  天天中彩票的
52633  彩神争霸怎么
66799  天天中彩票能
70506  彩神争霸大发
70805  福利彩票天天
72472  天天爱彩票是
74929  大发时时彩是
78249  大发彩票官网
81094  天天彩票中奖
83405  彩神争霸官网
86060  天天中彩票网
88128  大发快三彩票
89373  天天中奖彩票
95565  大发快三怎么
97295  天天中彩票买
99547  全民彩票天天
99813  大发快三开奖
101019  天天彩票怎么
101303  大发游戏官网
104937  北京赛车怎么
106222  彩神争霸提现
112399  在天天中彩票
113915  北京赛车计划
115319  大发快三和值
117123  彩神争霸苹果
119247  北京赛车开奖
120154  天天中彩票和
127753  天天中彩票上
128309  天天爱彩票app
129350  彩神争霸平台
129515  彩神争霸代理
131436  彩神争霸可以
134263  微信天天彩票
136533  大发快三计划
139045  天天中彩票不
141777  重庆时时彩的
143226  生命周期函数
143802  大发快三官网
144364  天天中彩票nba
144785  彩神争霸快三
144879  大发快三豹子
153033  手机天天彩票
153589  天天中彩票粤
155188  彩神争霸下载
156153  彩神争霸网站
159659  天天彩票提现
160238  北京赛车微信
160344  中国福利彩票
161007  北京赛车如何
162772  大发彩票快三
164366  天天中彩票会
166895  天天中彩票被
167551  彩神争霸充值
168647  天天送钱彩票
170426  大发快三如何
170835  北京赛车女郎
171117  北京赛车冠军
171321  天天中彩票未
172636  彩神争霸输钱
174695  彩神争霸官方
178257  天天中彩票谁
178597  久久精品国产
181188  彩神争霸破解
182292  天天中彩票APP
184525  天天中彩票在
186409  彩神争霸安卓
187784  重庆时时彩杀
188009  彩神争霸如何
189467  亚洲男人天堂
191383  体育彩票天天
196638  天天彩票软件
198989  重庆时时彩彩
199053  北京赛车投注
199630  天天乐购彩票
31385 视频在线观看
34342 一区二区三区
36308 的天天中彩票
70743 有限公司官网
71311  qq天天中彩票
86301 视频免费观看
86435 《凤凰大参考
89721 这里只有精品
91244 福利彩票天天
92219 和天天中彩票
95335 一级特黄大片
95376 视频在线播放
102670 免费视频观看
104372 彩票大发快三
105303 在天天中彩票
107781 在线观看视频
114332 电影在线观看
114900 最新高清无码
117836 免费资料大全
122156 下载彩神争霸
126418 无码中文字幕
128539 在线观看免费
128805 开奖结果查询
132560 久久国产视频
134038 高清免费视频
135323 不卡免费播放
136526 お問い合わせ
136710 免费观看视频
137015 お願いします
138225 开奖现场直播
138258 在线视频观看
140166 彩票平台注册
140893 留下些什么吧
146082 棋牌游戏官网
146906 の名無しさん
162657 毛片免费观看
169195 中央値との差
173182  天天中彩票qq
173342 娱乐平台注册
173836 北京赛车计划
174322 娱乐官方网站
175645 中文字幕无码
176360 高清视频免费
177689 免费在线观看
179880 娱乐平台招商
180407 彩票平台招商
180574 免费人成视频
180660 中文字幕在线
182251 高清在线观看
184003 人片在线观看
184694 久久综合久久
184811 彩网大发快三
186005 网站免费观看
186863 手机在线观看
188772 买天天中彩票
195091 在线视频精品
196834 黄色录像影片
196917 娱乐彩票注册
198041 娱乐平台主管
198332 在线精品视频
199143 彩票娱乐注册
199166 娱乐平台开户
199943 彩票平台开户
166783  一级a做爰片
2783  天天中彩票
8656  重庆时时彩
11301  天天爱彩票
12284  大发时时彩
40266  天天买彩票
42782  腾讯分分彩
44948  名無しさん
46373  大发快三是
50020  彩神争霸是
51944  天天彩票网
53179  天天赢彩票
67947  彩神争霸有
75874  香港六合彩
77511  彩神争霸能
80495  彩神争霸app
81506  天天乐彩票
92481  菲律宾申博
98909  彩神争霸的
101224  天天彩票app
101241  彩神争霸快
104170  玩大发快三
104578  大发分分彩
109323  大发快三的
109993  天天彩票是
122234  玩北京赛车
122693  北京赛车的
124420  大发快三有
125367  北京赛车女
125946  北京赛车有
127733  玩彩神争霸
132455  彩票天天乐
136303  天天购彩票
137002  彩神争霸高
137369  北京赛车前
137606 _植物百科通
149361  北京赛车群
157965  亚历山大发
164608  新天天彩票
167278  北京赛车开
"""