Skip to content

Instantly share code, notes, and snippets.

View mauricioribeiro's full-sized avatar

Mauricio Ribeiro mauricioribeiro

View GitHub Profile
@mauricioribeiro
mauricioribeiro / tokenizacao.py
Last active May 5, 2020 03:47
Tokenização
import spacy
nlp = spacy.load("pt")
doc = nlp("eu gosto de batata, mas também gosto de estudar")
for token in doc:
print(token) # para cada palavra a biblioteca gerou um objeto Token (https://spacy.io/api/token#attributes)