gpt-4o new korean tokens

gpt4o-tokens.py

import re
import tiktoken
from collections import defaultdict
from textwrap import fill

pattern = re.compile(r"[가-힣]")


def get_vocabs(t):
  for i in range(t.n_vocab):
    try:
      yield t.decode_single_token_bytes(i).decode('utf-8', 'replace')
    except Exception as e:
      pass


def get_ko_vocabs(t):
  return filter(pattern.search, get_vocabs(t))


old_enc = tiktoken.get_encoding("cl100k_base")
new_enc = tiktoken.get_encoding("o200k_base")

old_vocab = set(get_ko_vocabs(old_enc))
new_vocab = set(get_ko_vocabs(new_enc))

# newly added vocabs
vocab_by_len = defaultdict(list)
for v in new_vocab - old_vocab:
  vocab_by_len[len(v)].append(v)

for k in sorted(vocab_by_len.keys(), reverse=True):
  print(fill(f"{k}: {' '.join(v.replace(' ', 'v') for v in vocab_by_len[k])}", subsequent_indent='   '))

gpt4o-tokens.txt

8: v가나다라마바사
6: v감사합니다 v가능합니다 v제공합니다
5: v없습니다 v데이터를 v때문이다 v다운로드 v있습니다 v프로그램 v홈페이지 오프화이트 v대한민국 출장안마 v서비스를
   v프로젝트 v사람들이 v예정이다 v않습니다 v같습니다 v대상으로 v개인정보 v바랍니다 v업데이트 v것입니다 되었습니다
   v사용하는
4: 라마바사 v있다는 v문제가 v가나다 v따르면 v그러나 v시간을 v정보를 v서비스 v입니다 v그런데 v사용할 v그대로
   v있다고 v플레이 v가운데 v사람이 v마지막 출장안마 v따라서 v것이다 v브랜드 v모습을 v이메일 v가능한 v이미지
   v우리가 v가지고 v로그인 v합니다 v이벤트 v우리는 v콘텐츠 v어떻게 v만드는 하십시오 v때문에 v사이트 았습니다
   v스포츠 v만들어 v우리의 v것으로 v이러한 v자신의 v문자열 v전문가 v영향을 v있는데 v자동차 v하지만 v모바일
   v있어서 v있도록 v대해서 v디자인 v앞으로 v그리고 v도움이 v말했다 v필요한 v얼마나 v됩니다 v관리자 v대통령
   v원하는 v않는다 v테스트 v반드시 v이렇게 v이야기 v지난해 v최고의 v있었다 겠습니다 v아니다 v새로운 해주세요
   v있으며 v온라인 v사용자 프화이트 녕하세요 v아니라 v코로나 v시간이 v하나님 v밝혔다 했습니다 드립니다 v바카라
   v내용을 v중요한 v카지노 였습니다 v다양한 v그렇게 v마사지 v여러분 v주세요 v이상의 v제대로 v않았다 v스마트
   v인터넷 v대부분 v플랫폼 v있지만 v그래서 v시스템 v글로벌 v스타일 었습니다 v동시에
3: v자기 v제공 v조직 v계산 v너무 v존재 v자체 v제한 v나타 v알고 v그냥 v가입 v업무 v사고 일부터 v한번 v사회
   v출장 v지방 v그림 v특히 v감독 v번호 v만든 v어느 v영화 v규모 v운영 v정부 v준비 v모든 v질문 v국내 v참여
   v의해 v말씀 v광고 v효과 v행사 v연결 v직접 v화면 v아직 v교수 v서울 v것을 v일본 v어려 v전에 v자동 v슬롯
   v공부 v한다 v환경 v반복 v중심 v우리 적으로 v받아 v최초 v된다 v형태 v더욱 v일정 v기술 v기간 v여자 v하나
   v나는 v부모 v국제 v기록 하지만 v모델 v부족 v자신 v있음 v수준 v고객 v생산 v보여 v않은 v게시 v투자 v되는
   에서는 v게임 v비교 v전망 v버튼 v지난 v것은 v되고 v또는 v미국 v제주 v요소 v강조 v그렇 v사건 v오는 v검사
   v감사 v의견 v이에 v설명 합뉴스 v강화 카지노 v모습 v제작 v해서 v보고 v인기 v있기 v전문 v메뉴 v아이 v인간
   v라이 v안정 v중요 v해야 이라고 v회원 v중국 v가까 v자료 v현실 이었다 v주장 v참석 v그런 v평균 v클래 v거래
   v설치 v등에 v대학 v음악 v보면 v돌아 v스타 v방향 v판단 v요구 그리고 v업체 v이하 v거리 v어린 v국가 v선수
   v표현 v포함 화이트 v상당 v연락 v참고 v함께 장에서 v대응 v시행 v보기 v행동 v변화 v시민 v없음 v승인 v공연
   하거나 v모르 일까지 v어디 v모집 v공개 v현대 v부분 v하고 v여부 v목적 됩니다 v내려 v오류 v유형 에서도 v행복
   v했다 v소재 v단계 v지역 v옵션 v오후 v내가 v어떤 v살아 v일을 v그래 v주문 v정말 v또한 v평가 v아름 v예방
   v최근 v다운 v인터 v지나 v교육 v비롯 온라인 v아무 v무료 v자리 v국민 v모텔 v분석 v수도 v이루 v프로 v올라
   v경제 v로그 v없이 v공식 v호텔 v먼저 v작성 v느낌 v고려 v언제 밀번호 v지정 v여기 v오늘 v수행 v나온 v등록
   v접근 마사지 v받은 v집중 v그것 v보험 v아니 v학생 v않아 v제목 v있고 v가격 v진행 v오른 v뉴스 v되었 v동일
   v들어 v특별 v있었 v최대 v날짜 사이트 습니까 v모두 v있게 v당신 v정의 v머신 v친구 v상세 v무엇 v역할 v발견
   v물론 v유명 v안전 v정도 v이런 v리뷰 v미래 v의원 v하기 v사실 v건강 v도움 v해외 v기업 v있으 v어� v싶은
   v문의 v계획 v이번 했다고 v이유 v등의 v결정 v역사 v보는 v보내 v확보 v일이 랍니다 v부담 v저는 v위해 v개인
   v인정 v방식 v구축 v최신 v전달 v필요 v구성 v방송 v같이 v경기 v이상 v금융 v영향 v제가 v여러 v검색 v기타
   v공간 v경험 v치료 v생각 v따른 v재미 립니다 v동안 v공급 v때문 v밝� v여행 v따라 v시설 v체크 v여성 출장샵
   v민주 v나라 v보다 v당시 v구매 v장소 v인증 v쉽게 v스트 v댓글 v바이 v관심 v공동 v것이 v특정 v의료 v넘어
   v않았 ��글 v기준 v관광 v발생 v하루 v적극 v확대 v이전 들에게 v최소 v가족 v신청 v이것 v만들 하도록 v다른
   v그러 v하면 v위험 v카드 v되어 v작은 v알아 v증가 v인해 v이후 v노동 v비용 v장애 v영역 v시대 v관한 v실시
   v학교 v항상 v대한 v경쟁 v사이 v적용 v생활 v대해 v대상 v개최 v등장 v완료 v이용 v고민 v없어 v지급 v있어
   v대비 v서로 v제출 바카라 v각각 v받을 v주요 v순간 v지속 v하지 v감소 v타입 v시간 v받고 v다음 v누구 v결국
   v가진 v기본 하면서 v얼굴 v제거 v피해 v보호 v부산 v오래 v많은 v메시 v크게 v번째 v종료 v주민 v할인 v사례
   v자세 v참가 v것도 v시즌 v등을 v관리 v올해 v다양 v상태 v활동 v기반 v구현 v배우 v역시 v전국 v움직 v서버
   v일부 v소비 v개선 v마음 v소개 v부탁 v그는 v제외 v노력 v말을 v아래 v충분 v활성 v예약 v내용 v분야 v않을
   v이야 v좋은 v그의 데이트 v정신 v이동 v지도 v요청 v선정 v공격 v같다 v방문 v그룹 v성장 v얼마 v최고 v제조
   v높은 v자연 v기관 v목록 v주소 v다시 v조사 v클릭 v피부 v대신 v신규 한다고 v제품 v나오 v없다 v시장 v처음
   v기자 v영상 v기사 v가치 서비스 v링크 v선언 v사랑 v도시 v정책 v내부 v작업 v있을 v사람 v기다 v작품 하였다
   v운동 v이해 v등이 v지금 v해결 v만나 v통한 v실패 v산업 v관련 v음식 v대표 v않는 v사업 v한국 v예정 v정치
   v전략 v바로 v안내 v일반 v전화 v상승 v과정 v통해 v방법 v문화 v어렵 v정확 v예상 v아닌 v유지 v만큼 v출시
   v성공 v세계 v조건 v사진 v특징 v상대 v삼성 v기억 v정상 v경찰 v알려 v자유 v이는 v실제 v북한 v주변 v활용
   v없는 v차량 십시오 대학교 v상품 v계속 v분위 v떨어 v사항 v이제 v그녀 v판매 v이어 v종류 v아주 v시험 v배송
   v직원 v가장 v않고 v거의 v가지 v관계 v후기 v지원 v연구 v구조 v추진 v표시 v추천 v중앙 v같은 v조금 v공유
   v기존 v오전 v많이 v책임 v바라 v찾아 v위한 이라는 v의미 v아� v후보 v이를 v열린 v하는 페이지 v회사 v문제
   v발전 v좋아 v발표 v상황 v담당 v기대 v현재 v마련 v만족 v이날 v매우 v목표 v기능 v상담 v신고 v개발 v영어
   v전체 v계약
2: v향 랫폼 v북 보고 도를 동안 이블 하시 v광 v활 준다 아요 성과 v몰 자로 v항 어난 v깊 이며 v애 v드 위를
   v첫 v캐 회사 보험 v핵 았다 가격 포츠 시오 v논 게시 v링 ”며 v갈 v충 므로 v평 위원 v접 원의 된다 회를
   v순 소년 이는 오는 v차 면서 라도 리가 이션 출장 v싸 사를 스크 v물 해야 v죽 v장 레이 v쓰 v씨 텐츠 v건
   관련 인가 v명 v새 기의 랜드 �영 v플 v독 교육 v넘 안을 v존 )는 v늘 v헤 v터 금을 v증 관리 세계 v코
   했던 v높 v밤 v철 v얼 지노 렸다 기관 v혼 v못 나는 v음 v면 v착 v은 v탄 v책 인이 디어 v쿠 다가 v삶
   v따 화를 뮤니 사의 v과 v숙 v듯 v투 방법 르면 v희 리스 v디 v승 주는 등록 v소 v법 나요 v윤 v풀 v커
   v들 되어 지털 v흐 v넣 v본 도가 v노 웨어 v협 님의 다는 됐다 v군 되고 가지 사지 이트 개의 v볼 v월 v길
   v팀 문화 들은 v완 하고 지는 v집 사가 소드 시설 v했 리고 v복 v잘 거리 지를 v패 v용 v태 주시 v뿐 에게
   v말 v적 v약 v품 v믿 v피 v엄 v야 v을 하다 v는 �게 v악 v솔 스템 벤트 v교 들을 댓글 v측 v좀 v풍
   너지 v어 기로 v액 바일 v채 센터 v랜 지고 니까 오늘 v규 v될 르고 예약 학교 v블 통령 v좋 v혈 거나 이드
   제를 대한 v몸 전히 v브 v싶 v쉽 v임 이번 v압 v혁 ’을 v슬 지막 v각 트를 v민 경제 장이 v동 자는 리는
   처럼 식을 마트 v점 v홍 주소 v불 학생 시는 v심 v권 v답 v홀 v또 환경 �어 만원 리에 v청 시장 v응 v고
   장의 원이 이터 v총 회원 드는 가능 v우 v센 로나 v얻 르게 v절 v극 v콘 v겨 v온 가는 v붙 생활 v러 v갖
   v암 그래 v혹 v맛 라고 스럽 에도 메일 v옵 뉴스 쓰기 한국 v데 려고 는데 상이 시키 v누 v창 였다 v뭐 v진
   v빨 서울 v삼 v빈 니스 사회 v밝 v티 v막 v줄 v크 어진 이버 상품 리아 사진 감을 기를 시간 v골 렇게 운데
   v표 기사 v준 그램 인트 v듣 까지 v읽 v익 명의 v트 시에 v뉴 했고 v많 이크 v육 신문 지도 v맞 오기 v빠
   정보 이미 기간 그러 v돌 되는 v둘 v엔 v잠 러스 레스 v컴 나라 는다 기가 v강 v치 )를 대를 v도 v꽃 v즐
   v송 년에 디오 v허 들과 v놀 v봉 자리 었던 수를 v궁 도의 v흔 v언 v무 v앱 v긴 v홈 지가 "고 v탈 라이
   의를 v성 )이 v욕 사항 들이 겠다 비스 까요 )은 v걸 v더 민국 스타 v별 년도 v통 으며 파트 v컨 v출 전에
   하려 상의 v눈 v휴 v형 v뜻 현재 v저 v베 본문 되지 하며 졌다 v신 리를 v편 )의 선을 사용 무료 v귀 지역
   v감 v체 )가 v견 조회 라인 전화 v큰 게임 기도 v유 v알 �제 움을 v남 검색 억원 v취 )에 v황 v범 v낮
   v당 v힘 가기 기에 v단 이스 v벌 v밀 보다 카오 리지 v색 었다 인터 v찾 시면 v공 부터 v영 자료 v놓 공지
   호텔 v잡 v운 v올 스를 했다 은행 물이 이라 서를 v밖 네요 드를 점을 v찍 제품 나다 v느 v토 v난 작성 v탐
   v선 제가 v업 v된 v직 도록 v울 v분 v및 v즉 v김 롭게 자동 v효 문의 배송 v축 회의 수가 v박 인은 사는
   이면 정을 v외 v팔 v식 명이 v의 v행 에는 어서 v깨 스로 마다 하게 v네 v테 력을 전을 퓨터 v앞 젝트 영상
   하면 v합 일보 v캠 v확 치를 어나 v목 v살 지만 v두 소개 v움 왔다 ”고 다고 스터 러한 인데 v웹 이다 v좌
   v열 v워 적인 v간 v천 이를 v뒤 v키 v날 음을 머니 v펼 카라 v숨 v루 기업 v재 정부 대표 이어 v퍼 드시
   케팅 다면 시험 있는 전자 v능 v갑 제로 이나 로운 이에 v떠 삭제 이지 v세 v페 v달 v맡 v국 내용 라마 로드
   르는 v금 v원 없이 v손 v와 v왕 v거 상을 우리 v뛰 v학 원을 v꾸 러운 다운 자인 v너 v라 보기 v폐 v환
   가입 라는 v먹 v산 개월 이가 안마 어요 부분 v친 v판 인지 프트 스토 장을 워크 프로 v역 장은 아서 v매 v레
   v특 v를 v팬 도로 인을 번째 시아 인다 v꿈 v객 없는 들도 물을 리즈 v담 사업 계를 v폭 조건 v스 v농 v실
   v양 자가 추천 v급 서는 v웃 최근 기는 v니 들의 v쉬 )을 v쇼 v끝 v돈 라우 대로 인의 v머 요일 났다 v왜
   v곳 v타 v미 v질 v백 v병 지난 v년 성이 ’를 v까 v꼭 v현 전체 치는 v참 파일 v컬 v침 명을 자의 판매
   v몇 성을 자를 이고 v속 v먼 v카 력이 주의 v근 v화 바사 로벌 아이 지원 v글 v숫
1: 넘 슬 참 최 초 범 홀 확 탄 닥 팀 날 웃 더 끄 께 올 슴 먼 행 평 북 봐 읽 왔 콘 숨 령 컨 튀 외 궁 맛 윤
   웠 핏 별 월 씨 워 굴 받 추 너 량 천 형 점 랙 닫 겠 합 납 효 틴 히 잘 닷 털 안 두 저 찌 폼 녕 녀 츠 몸
   겨 념 짜 노 엔 등 럴 텐 춰 닝 풀 혜 셀 벤 싸 줄 살 첫 될 뮤 몇 렴 척 므 긴 약 랑 철 곳 앞 람 섭 벨 덤
   견 혼 현 축 찾 편 벽 칼 있 였 각 낌 표 칙 압 릴 선 침 애 락 알 말 찮 암 짐 언 룸 울 찰 큰 써 길 단 프
   템 헤 림 삼 핀 중 양 휴 잔 앙 퇴 렸 완 플 활 퓨 냥 막 킹 꾸 텔 덕 릿 죽 격 충 높 짝 답 염 변 규 및 끼
   봉 모 렌 김 백 악 채 앤 했 쁘 법 팩 끌 쉬 립 찍 차 속 빛 육 렵 타 향 략 관 콩 망 꺼 난 롯 마 벌 송 홈
   좀 줘 졌 골 업 셜 키 큼 려 쪽 델 즌 파 빌 역 허 앨 직 좋 틱 루 쿠 득 필 캐 증 녁 협 샵 났 뷰 집 팅 것
   런 삭 독 곤 무 탁 왕 본 항 병 팬 강 셔 휘 팔 핑 밤 싶 군 혁 또 웹 뒤 근 영 않 붙 예 까 짓 응 씩 물 익
   매 톡 몬 칠 됐 닉 같 뿐 빙 혀 새 청 렉 밀 커 박 융 춤 폰 착 촌 냈 책 낸 씬 술 죄 쟁 몰 됨 놀 킨 꽃 때
   통 쉽 뜻 켜 종 석 특 컬 롤 발 켓 극 릭 네 엘 심 권 좌 첨 총 펴 돈 젠 빈 따 쇄 댓 르 처 뜨 족 품 손 억
   폐 씀 멀 불 객 갑 누 즐 남 황 풍 슷 끝 징 렬 희 례 쓴 님 늘 못 겼 던 쳐 숙 피 먹 판 률 밍 램 떤 균 교
   욱 테 쳤 냐 즘 잠 놓 획 국 계 취 퍼 둘 코 갈 곡 롭 접 젝 금 블 혈 투 온 왜 맥 넷 듯 연 쓰 린 픽 텍 흡
   폭 톤 헌 끔 잡 링 겁 괴 뉴 봤 율 았 없 밖 쇼 춘 카 토 욕 머 련 친 십 옵 럽 순 뢰 랍 닌 킬 콜 깨 귀 룹
   데 슈 컴 급 론 엄 탕 베 창 촉 클 었 얼 많 바 옥 픈 페 윈 민 센 셨 홍 컵 실 액 측 껴 유 솔 탈 건 레 깔
   돌 담 큐 힌 케 눈 년 학 싱 질 꿈 논 훈 후 움 랜 웨 낼 배 틀 설 돼 렛 험 감 절 택 브 며 푸 죠 흥 걸 달
   검 빠 폴 칭 광 렇 존 층 랩 럭 방 튜 쁜 엇 됩 랫 힘 슨 승 찬 농 포 티 멘 혹 볼 즈 맞 패 널 럼 준 란 느
   반 딩 떠 맨