Skip to content

Instantly share code, notes, and snippets.

@MikeThomsen
Last active January 17, 2019 21:48
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save MikeThomsen/84abb89aab903a8b21d64af532cc369b to your computer and use it in GitHub Desktop.
Save MikeThomsen/84abb89aab903a8b21d64af532cc369b to your computer and use it in GitHub Desktop.
Test for LanguageIdentifier
@Grab(group='org.apache.tika', module='tika-core', version='1.19.1')
import org.apache.tika.language.LanguageIdentifier
[
ar: "1 فِي الْبَدْءِ كَانَ الْكَلِمَةُ، وَالْكَلِمَةُ كَانَ عِنْدَ اللهِ. وَكَانَ الْكَلِمَةُ اللهُ. 2 هَذَا كَانَ فِي الْبَدْءِ عِنْدَ اللهِ. 3 بِهِ تَكَوَّنَ كُلُّ شَيْءٍ، وَبِغَيْرِهِ لَمْ يَتَكَوَّنْ أَيُّ شَيْءٍ مِمَّا تَكَوَّنَ. 4 فِيهِ كَانَتِ الْحَيَاةُ. وَالْحَيَاةُ كَانَتِ نُورَ النَّاسِ. 5 وَالنُّورُ يُضِيءُ فِي الظَّلاَمِ، وَالظَّلاَمُ لَمْ يُدْرِكْ النُّورَ. 6 ظَهَرَ إِنْسَانٌ أَرْسَلَهُ اللهُ، اسْمُهُ يُوحَنَّا، 7 جَاءَ يَشْهَدُ لِلنُّورِ، لِكَيْ يُؤْمِنَ الْجَمِيعُ بِوَاسِطَتِهِ. 8 لَمْ يَكُنْ هُوَ النُّورَ، بَلْ كَانَ شَاهِداً لِلنُّورِ، 9 فَالنُّورُ الْحَقُّ الَّذِي يُنِيرُ كُلَّ إِنْسَانٍ كَانَ آتِياً إِلَى الْعَالَمِ. 10 كَانَ فِي الْعَالَمِ، وَبِهِ تَكَوَّنَ الْعَالَمُ، وَلَمْ يَعْرِفْهُ الْعَالَمُ. 11 وَقَدْ جَاءَ إِلَى خَاصَّتِهِ، وَلَكِنَّ هَؤُلاَءِ لَمْ يَقْبَلُوهُ. 12 أَمَّا الَّذِينَ قَبِلُوهُ، أَيِ الَّذِينَ آمَنُوا بِاسْمِهِ، فَقَدْ مَنَحَهُمُ الْحَقَّ فِي أَنْ يَصِيرُوا أَوْلاَدَ اللهِ، 13 وَهُمُ الَّذِينَ وُلِدُوا لَيْسَ مِنْ دَمٍ، وَلاَ مِنْ رَغْبَةِ جَسَدٍ، وَلاَ مِنْ رَغْبَةِ بَشَرٍ، بَلْ مِنَ اللهِ.",
de: "1 Im Anfang war das Wort[a], und das Wort war bei Gott, und das Wort war Gott. 2 Dieses war im Anfang bei Gott. 3 Alles ist durch dasselbe entstanden; und ohne dasselbe ist auch nicht eines entstanden, was entstanden ist.[b] 4 In ihm war das Leben[c], und das Leben war das Licht der Menschen. 5 Und das Licht leuchtet in der Finsternis, und die Finsternis hat es nicht begriffen.",
en: "1 In the beginning was the Word, and the Word was with God, and the Word was God. 2 He was with God in the beginning. 3 Through him all things were made; without him nothing was made that has been made. 4 In him was life, and that life was the light of all mankind. 5 The light shines in the darkness, and the darkness has not overcome[a] it.",
es: "1 En el principio existía[a] el Verbo[b], y el Verbo estaba[c] con Dios, y el Verbo era Dios. 2 El[d] estaba[e] en el principio con Dios. 3 Todas las cosas fueron hechas por medio de El, y sin El nada de lo que ha sido hecho, fue hecho. 4 En El estaba[f] la vida, y la vida era la luz de los hombres. 5 Y la luz brilla en las tinieblas, y las tinieblas no la comprendieron[g].",
fr: "1 Au commencement était la Parole, et la Parole était avec Dieu, et la Parole était Dieu. 2 Elle était au commencement avec Dieu. 3 Toutes choses ont été faites par elle, et rien de ce qui a été fait n’a été fait sans elle. 4 En elle était la vie, et la vie était la lumière des hommes. 5 La lumière luit dans les ténèbres, et les ténèbres ne l’ont point reçue.",
gr: "1 Ἐν ἀρχῇ ἦν ὁ λόγος, καὶ ὁ λόγος ἦν πρὸς τὸν θεόν, καὶ θεὸς ἦν ὁ λόγος. 2 οὗτος ἦν ἐν ἀρχῇ πρὸς τὸν θεόν. 3 πάντα δι’ αὐτοῦ ἐγένετο, καὶ χωρὶς αὐτοῦ ἐγένετο οὐδὲ ἕν. ὃ γέγονεν 4 ἐν αὐτῷ ζωὴ ἦν, καὶ ἡ ζωὴ ἦν τὸ φῶς τῶν ἀνθρώπων· 5 καὶ τὸ φῶς ἐν τῇ σκοτίᾳ φαίνει, καὶ ἡ σκοτία αὐτὸ οὐ κατέλαβεν.",
it: "1 Prima che esistesse qualsiasi altra cosa, cʼera Cristo. 2 Egli era con Dio. Vive da sempre, ed egli stesso è Dio. 3 Egli ha creato tutte le cose; non cʼè nulla che non sia stato fatto da lui. 4 In lui cʼè la vita eterna, e questa vita dà luce a tutta lʼumanità. 5 La sua vita è la luce che splende nelle tenebre, ma le tenebre non lʼhanno ricevuta.",
ko: """
1 [a]우주가 존재하기 전에 말씀 되시는 그리스도가 계셨다. 그분은 하나님과 함께 계셨으며 바로 그분이 하나님이셨다.
2 그리스도는 맨 처음부터 하나님과 함께 계셨고
3 모든 것은 그분을 통해서 창조되었으며 그분 없이 만들어진 것은 아무것도 없다.
4 그리스도 안에 생명이 있었으니 이 생명은 인류의 빛이었다.
5 이 빛이 어두움 속에서 빛나고 있었으나 어두움이 이 빛을 [b]깨닫지 못하였다.
""",
nl: "1 In het begin was het Woord er. Het Woord was bij God, en het Woord was God Zelf. 2 In het begin was het Woord bij God. 3 Alle dingen zijn door het Woord gemaakt. Werkelijk alles wat er is, bestaat doordat het Woord het heeft gemaakt. 4 In het Woord was het leven, en het leven was het licht voor de mensen. 5 Het Licht schijnt in het donker en het donker heeft het niet uitgedoofd.",
ru: "В начале было Слово[a], и Слово было с Богом, и Слово было Богом.2 Оно было в начале с Богом. 3 Все, что существует, было сотворено через Него, и без Него ничто из того, что есть, не начало существовать. 4 В Нем заключена жизнь, и эта жизнь – Свет человечеству. 5 Свет светит во тьме, и тьма не поглотила[b] Его.",
zh: "1 太初,道已經存在,道與上帝同在,道就是上帝。 2 太初,道就與上帝同在。 3 萬物都是藉著祂造的[a],受造之物沒有一樣不是藉著祂造的。 4 祂裡面有生命,這生命是人類的光。 5 光照進黑暗裡,黑暗不能勝過[b]光。"
].each {
println it.key + "\t" + new LanguageIdentifier(it.value).language
}
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment