- NLP 관련 다양한 패키지를 제공하고 있으며, 특히 언어 모델 (language models) 을 학습하기 위하여 세 가지 패키지가 유용
package | note |
---|---|
transformers | Transformer 기반 (masked) language models 알고리즘, 기학습된 모델을 제공 |
tokenizers | transformers 에서 사용할 수 있는 토크나이저들을 학습/사용할 수 있는 기능 제공. transformers 와 분리된 패키지로 제공 |
nlp | 데이터셋 및 평가 척도 (evaluation metrics) 을 제공 |