Skip to content

Instantly share code, notes, and snippets.

@mohdsanadzakirizvi

mohdsanadzakirizvi/inltk_tokenize.py

Created January 9, 2020 12:29
Show Gist options
  • Star 1 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save mohdsanadzakirizvi/2303ac80786654eb7633aec8a4db119a to your computer and use it in GitHub Desktop.
Save mohdsanadzakirizvi/2303ac80786654eb7633aec8a4db119a to your computer and use it in GitHub Desktop.
Download ZIP
Raw
inltk_tokenize.py
from inltk.inltk import tokenize
hindi_text = """प्राचीन काल में विक्रमादित्य नाम के एक आदर्श राजा हुआ करते थे।
अपने साहस, पराक्रम और शौर्य के लिए राजा विक्रम मशहूर थे।
ऐसा भी कहा जाता है कि राजा विक्रम अपनी प्राजा के जीवन के दुख दर्द जानने के लिए रात्री के पहर में भेष बदल कर नगर में घूमते थे।"""
# tokenize(input text, language code)
tokenize(hindi_text, "hi")
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment