- NLP 관련 다양한 패키지를 제공하고 있으며, 특히 언어 모델 (language models) 을 학습하기 위하여 세 가지 패키지가 유용
| package | note |
|---|---|
| transformers | Transformer 기반 (masked) language models 알고리즘, 기학습된 모델을 제공 |
| tokenizers | transformers 에서 사용할 수 있는 토크나이저들을 학습/사용할 수 있는 기능 제공. transformers 와 분리된 패키지로 제공 |
| nlp | 데이터셋 및 평가 척도 (evaluation metrics) 을 제공 |