Skip to content

Instantly share code, notes, and snippets.

@danieldk
Created April 16, 2020 09:41
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save danieldk/58e7d9180d20cacee4c0826d46df71e8 to your computer and use it in GitHub Desktop.
Save danieldk/58e7d9180d20cacee4c0826d46df71e8 to your computer and use it in GitHub Desktop.
--- /nix/store/nbkx2qghlh05dscldwxbrbbjm0jl2xws-bert-base-german-cased-vocab.txt 1970-01-01 01:00:01.000000000 +0100
+++ bert-base-german-cased-vocab.txt 2020-04-16 11:38:36.000000000 +0200
@@ -121,7 +121,7 @@
ver
##ls
Z
-(
+[unused_punctuation4]
##ir
Die
##il
@@ -149,7 +149,7 @@
20
nicht
Sch
-"
+[unused_punctuation3]
An
als
##ungs
@@ -241,7 +241,7 @@
wer
Ge
st
--
+[unused_punctuation2]
p
##ster
wie
@@ -419,7 +419,7 @@
##führ
dies
##ho
+[unused_punctuation8]
##etzt
Abs
weiter
@@ -1490,7 +1490,7 @@
lang
verschieden
##feld
-%
+[unused_punctuation10]
23
Verwaltungs
Schw
@@ -2034,7 +2034,7 @@
##bel
##reffen
##mäßig
-,
+[unused_punctuation1]
te
Fach
##hle
@@ -2459,7 +2459,7 @@
Mannschaft
##stellungen
4.
-&
+[unused_punctuation13]
##int
11.
##staat
@@ -3609,7 +3609,7 @@
##iellen
aufgenommen
voraus
-[
+[unused_punctuation14]
Nor
##lieben
beantragt
@@ -4811,7 +4811,7 @@
Ortsteil
Annahme
Stellen
-.
+[unused_punctuation0]
besitzt
Viz
##gemeine
@@ -5131,7 +5131,7 @@
Einwohnern
zahlreichen
Glück
-)
+[unused_punctuation5]
diente
##mens
Karls
@@ -5980,7 +5980,7 @@
##ologe
##ositionen
##führen
-:
+[unused_punctuation6]
##behörde
##eiert
##TV
@@ -6391,7 +6391,7 @@
##orten
1961
Journalisten
-<
+[unused_punctuation17]
##cl
Morgen
Award
@@ -7527,7 +7527,7 @@
##ammer
ausgestat
endlich
-'
+[unused_punctuation12]
abgewiesen
##klass
Mur
@@ -8129,7 +8129,7 @@
Flur
KG
Krise
-/
+[unused_punctuation7]
Seb
bestimmen
geschütz
@@ -8484,7 +8484,7 @@
Lot
##felder
san
-+
+[unused_punctuation16]
Master
Schrö
##aktiv
@@ -10277,7 +10277,7 @@
##81
Noten
##ürzung
-=
+[unused_punctuation18]
Schwa
Fein
nachvollziehbar
@@ -13000,7 +13000,7 @@
##ili
§15
##He
-#
+[unused_punctuation19]
News
weiße
##AN
@@ -17134,7 +17134,7 @@
##mä
##wurfs
befunden
-;
+[unused_punctuation9]
con
##imit
Maus
@@ -23212,7 +23212,7 @@
##studio
##wurzel
Fraktionen
-]
+[unused_punctuation15]
March
super
Powiat
@@ -23408,7 +23408,7 @@
Söhnen
Messung
kompens
-*
+[unused_punctuation11]
##astrophe
##einsätze
unangen
@@ -24852,7 +24852,7 @@
##ogels
verbietet
Lateinamerika
-|
+[unused_punctuation20]
(9
Lebe
##scheine
@@ -26912,11 +26912,11 @@
##m
##b
##f
-##.
+.
##w
##z
##k
-##,
+,
##v
##p
##S
@@ -26933,7 +26933,7 @@
##K
##2
##F
-##-
+-
##P
##V
##R
@@ -26942,7 +26942,7 @@
##H
##9
##T
-##"
+"
##L
##I
##N
@@ -26952,8 +26952,8 @@
##y
##3
##U
-##(
-##)
+(
+)
##8
##5
##C
@@ -26962,42 +26962,42 @@
##7
##O
##j
-##:
+:
##x
-##/
-##§
-##;
+/
+;
##Ü
##q
##Q
-##?
+?
##Ö
##Y
##Ä
-##%
+%
##X
-##*
-##'
-##&
+*
+'
+&
##€
-##!
-##_
-##[
-##]
-##+
-##<
-##>
-##=
-###
-##@
-##$
-##|
-##\
-##{
-##}
-##~
-##`
-##^
+!
+_
+[
+]
++
+<
+>
+=
+#
+@
+$
+|
+\
+{
+}
+~
+`
+^
[unused1]
[unused2]
[unused3]
@@ -29997,4 +29997,4 @@
[unused2997]
[unused2998]
[unused2999]
-[unused3000]
+[unused3000]
\ No newline at end of file
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment