Lemmatisation et n-grammes.py

#Chargement des lemmes de la langue française
nlp = spacy.load('fr_core_news_md')

#liste vide pour aceuillir les mots lematisés
clean_words_lem = []

#remplissage de la liste avec les mots lematisés
clean_words=nlp(" ".join(clean_words))
for w in clean_words:
   clean_words_lem.append(w.lemma_)

#afficher les k n-grammes les plus communs dans le texte, ici les 100 premiers trigrammes
n=3
k=100
ngram = list(nltk.ngrams(clean_words_lem,n))
fdist = FreqDist(ngram)
print(fdist.most_common(k))