Data related to language detection evaluation

cld-stat.txt

# language true-positive total accuracy
af  32  34 0.94
ar 200 201 0.99
az 161 161 1.00
be 157 157 1.00
bg 195 203 0.96
bn 198 198 1.00
ca 193 193 1.00
cs 195 196 0.99
da 198 200 0.99
de 189 236 0.80
el 199 199 1.00
en 200 249 0.80
es 201 255 0.78
et 198 198 1.00
fa 200 200 1.00
fi 197 199 0.98
fr 198 205 0.96
hi 177 180 0.98
hr 143 175 0.81
hu 197 197 1.00
hy 200 200 1.00
id 196 200 0.98
is  97  97 1.00
it 196 206 0.95
iw 200 200 1.00
ja 199 199 1.00
ka 200 200 1.00
kk 120 120 1.00
ko 199 199 1.00
lt 198 198 1.00
lv 192 192 1.00
mk 198 199 0.99
mn 200 200 1.00
mr 196 196 1.00
ms 148 148 1.00
ne 198 198 1.00
nl 199 301 0.66
no 181 183 0.98
pl 196 196 1.00
pt 197 206 0.95
ro 193 193 1.00
ru 200 446 0.44
si 200 200 1.00
sk 195 195 1.00
sl 162 162 1.00
sq 151 151 1.00
sr  75  91 0.82
sv 200 202 0.99
ta 199 199 1.00
tg  82  82 1.00
th 186 186 1.00
tr 187 195 0.95
ug 193 193 1.00
uk 192 197 0.97
ur 196 196 1.00
uz  97  97 1.00
vi 198 198 1.00
zh 200 205 0.97

fastText-compressed-stat.txt

# language true-positive total accuracy
af  26  34 0.76
ar 201 201 1.00
az 148 161 0.91
be 144 157 0.91
bg 191 203 0.94
bn 198 198 1.00
ca 190 193 0.98
cs 180 196 0.91
da 192 200 0.96
de 226 236 0.95
el 199 199 1.00
en 239 249 0.95
es 250 255 0.98
et 194 198 0.97
fa 200 200 1.00
fi 199 199 1.00
fr 204 205 0.99
hi 180 180 1.00
hr 141 175 0.80
hu 194 197 0.98
hy 196 200 0.98
id 184 200 0.92
is  75  97 0.77
it 204 206 0.99
iw 200 200 1.00
ja 198 199 0.99
ka 200 200 1.00
kk  75 120 0.62
ko 199 199 1.00
lt 174 198 0.87
lv 180 192 0.93
mk 195 199 0.97
mn 192 200 0.96
mr 186 196 0.94
ms  14 148 0.09
ne 170 198 0.85
nl 295 301 0.98
no 177 183 0.96
pl 193 196 0.98
pt 196 206 0.95
ro 174 193 0.90
ru 441 446 0.98
si 199 200 0.99
sk 182 195 0.93
sl 156 162 0.96
sq 143 151 0.94
sr  62  91 0.68
sv 202 202 1.00
ta 199 199 1.00
tg  68  82 0.82
th 186 186 1.00
tr 191 195 0.97
ug 193 193 1.00
uk 192 197 0.97
ur 188 196 0.95
uz  23  97 0.23
vi 195 198 0.98
zh 204 205 0.99

fastText-full-stat.txt

# language true-positive total accuracy
af  21  34 0.61
ar 201 201 1.00
az 151 161 0.93
be 154 157 0.98
bg 193 203 0.95
bn 198 198 1.00
ca 191 193 0.98
cs 184 196 0.93
da 187 200 0.93
de 223 236 0.94
el 199 199 1.00
en 246 249 0.98
es 251 255 0.98
et 194 198 0.97
fa 200 200 1.00
fi 198 199 0.99
fr 204 205 0.99
hi 177 180 0.98
hr 140 175 0.80
hu 195 197 0.98
hy 200 200 1.00
id 190 200 0.95
is  71  97 0.73
it 204 206 0.99
iw 200 200 1.00
ja 198 199 0.99
ka 200 200 1.00
kk 115 120 0.95
ko 199 199 1.00
lt 198 198 1.00
lv 191 192 0.99
mk 196 199 0.98
mn 195 200 0.97
mr 185 196 0.94
ms  15 148 0.10
ne 163 198 0.82
nl 294 301 0.97
no 179 183 0.97
pl 194 196 0.98
pt 201 206 0.97
ro 173 193 0.89
ru 443 446 0.99
si 196 200 0.98
sk 184 195 0.94
sl 157 162 0.96
sq 140 151 0.92
sr  60  91 0.65
sv 202 202 1.00
ta 199 199 1.00
tg  74  82 0.90
th 186 186 1.00
tr 191 195 0.97
ug 192 193 0.99
uk 193 197 0.97
ur 190 196 0.96
uz  34  97 0.35
vi 195 198 0.98
zh 203 205 0.99

langid-stat.txt

# language true-positive total accuracy
af  26  34 0.76
ar 201 201 1.00
az 142 161 0.88
be 134 157 0.85
bg 187 203 0.92
bn 196 198 0.98
ca 181 193 0.93
cs 172 196 0.87
da 171 200 0.85
de 224 236 0.94
el 199 199 1.00
en 215 249 0.86
es 246 255 0.96
et 182 198 0.91
fa 197 200 0.98
fi 183 199 0.91
fr 201 205 0.98
hi 174 180 0.96
hr 143 175 0.81
hu 193 197 0.97
hy 189 200 0.94
id 187 200 0.93
is  87  97 0.89
it 202 206 0.98
iw 200 200 1.00
ja 199 199 1.00
ka 198 200 0.99
kk  64 120 0.53
ko 199 199 1.00
lt 192 198 0.96
lv 178 192 0.92
mk 174 199 0.87
mn 200 200 1.00
mr 192 196 0.97
ms  60 148 0.40
ne 117 198 0.59
nl 274 301 0.91
no 121 183 0.66
pl 187 196 0.95
pt 197 206 0.95
ro 175 193 0.90
ru 420 446 0.94
si 199 200 0.99
sk 190 195 0.97
sl 150 162 0.92
sq 136 151 0.90
sr  19  91 0.20
sv 201 202 0.99
ta 197 199 0.98
tg   0  82 0
th 169 186 0.90
tr 185 195 0.94
ug 191 193 0.98
uk 182 197 0.92
ur 190 196 0.96
uz   0  97 0
vi 195 198 0.98
zh 204 205 0.99

opennlp-stat.txt

# language true-positive total accuracy
af  28  34 0.82
ar 186 201 0.93
az 141 161 0.88
be 134 157 0.85
bg 190 203 0.94
bn 138 198 0.70
ca 187 193 0.97
cs 178 196 0.91
da 196 200 0.98
de 211 236 0.89
el 190 199 0.95
en 232 249 0.93
es 239 255 0.94
et 113 198 0.57
fa 198 200 0.99
fi 190 199 0.95
fr 198 205 0.97
hi 131 180 0.73
hr 127 175 0.73
hu 190 197 0.96
hy 163 200 0.82
id  64 200 0.32
is  73  97 0.75
it 200 206 0.97
he 189 200 0.95
ja 195 199 0.98
ka 181 200 0.91
kk  72 120 0.60
ko 122 199 0.61
lt 198 198 1.00
lv 173 192 0.90
mk 189 199 0.95
mn 190 200 0.95
mr 156 196 0.80
ms  46 148 0.31
ne 145 198 0.73
nl 282 301 0.94
no 174 183 0.95
pl 184 196 0.94
pt 196 206 0.95
ro 190 193 0.98
ru 378 446 0.85
si 145 200 0.73
sk 190 195 0.97
sl 161 162 0.99
sq 119 151 0.79
sr  15  91 0.16
sv 200 202 0.99
ta 166 199 0.83
tg  74  82 0.90
th 137 186 0.74
tr 190 195 0.97
ug   0 193 0.00
uk 177 197 0.90
ur 168 196 0.86
uz  82  97 0.85
vi 173 198 0.87
zh 198 205 0.97

source-data.txt

      34 af.txt
     201 ar.txt
     161 az.txt
     157 be.txt
     203 bg.txt
     198 bn.txt
     193 ca.txt
     196 cs.txt
     200 da.txt
     236 de.txt
     199 el.txt
     249 en.txt
     255 es.txt
     198 et.txt
     200 fa.txt
     199 fi.txt
     205 fr.txt
     180 hi.txt
     175 hr.txt
     197 hu.txt
     200 hy.txt
     200 id.txt
      97 is.txt
     206 it.txt
     200 iw.txt
     199 ja.txt
     200 ka.txt
     120 kk.txt
     199 ko.txt
     198 lt.txt
     192 lv.txt
     199 mk.txt
     200 mn.txt
     196 mr.txt
     148 ms.txt
     198 ne.txt
     301 nl.txt
     183 no.txt
     196 pl.txt
     206 pt.txt
     193 ro.txt
     446 ru.txt
     200 si.txt
     195 sk.txt
     162 sl.txt
     151 sq.txt
      91 sr.txt
     202 sv.txt
     199 ta.txt
      82 tg.txt
     186 th.txt
     195 tr.txt
     193 ug.txt
     197 uk.txt
     196 ur.txt
      97 uz.txt
     198 vi.txt
     205 zh.txt
   11062 total