Skip to content

Instantly share code, notes, and snippets.

Embed
What would you like to do?
from inltk.inltk import tokenize
hindi_text = """प्राचीन काल में विक्रमादित्य नाम के एक आदर्श राजा हुआ करते थे।
अपने साहस, पराक्रम और शौर्य के लिए राजा विक्रम मशहूर थे।
ऐसा भी कहा जाता है कि राजा विक्रम अपनी प्राजा के जीवन के दुख दर्द जानने के लिए रात्री के पहर में भेष बदल कर नगर में घूमते थे।"""
# tokenize(input text, language code)
tokenize(hindi_text, "hi")
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment