Character Whitelist

characters.py

#!/usr/bin/python
# -*- coding: utf_8 -*-

#use: from characters import CHARS

CHARS = {}
CHARS[ 32 ] = 1 #
CHARS[ 33 ] = 1 # !
CHARS[ 34 ] = 1 # "
CHARS[ 35 ] = 1 # #
CHARS[ 36 ] = 1 # $
CHARS[ 37 ] = 1 # %
CHARS[ 38 ] = 1 # &
CHARS[ 39 ] = 1 # '
CHARS[ 40 ] = 1 # (
CHARS[ 41 ] = 1 # )
CHARS[ 42 ] = 1 # *
CHARS[ 43 ] = 1 # +
CHARS[ 44 ] = 1 # ,
CHARS[ 45 ] = 1 # -
CHARS[ 46 ] = 1 # .
CHARS[ 47 ] = 1 # /
CHARS[ 48 ] = 1 # 0
CHARS[ 49 ] = 1 # 1
CHARS[ 50 ] = 1 # 2
CHARS[ 51 ] = 1 # 3
CHARS[ 52 ] = 1 # 4
CHARS[ 53 ] = 1 # 5
CHARS[ 54 ] = 1 # 6
CHARS[ 55 ] = 1 # 7
CHARS[ 56 ] = 1 # 8
CHARS[ 57 ] = 1 # 9
CHARS[ 58 ] = 1 # :
CHARS[ 59 ] = 1 # ;
CHARS[ 60 ] = 1 # <
CHARS[ 61 ] = 1 # =
CHARS[ 62 ] = 1 # >
CHARS[ 63 ] = 1 # ?
CHARS[ 64 ] = 1 # @
CHARS[ 65 ] = 1 # A A
CHARS[ 66 ] = 1 # B B
CHARS[ 67 ] = 1 # C C
CHARS[ 68 ] = 1 # D D
CHARS[ 69 ] = 1 # E E
CHARS[ 70 ] = 1 # F F
CHARS[ 71 ] = 1 # G G
CHARS[ 72 ] = 1 # H H
CHARS[ 73 ] = 1 # I I
CHARS[ 74 ] = 1 # J J
CHARS[ 75 ] = 1 # K K
CHARS[ 76 ] = 1 # L L
CHARS[ 77 ] = 1 # M M
CHARS[ 78 ] = 1 # N N
CHARS[ 79 ] = 1 # O O
CHARS[ 80 ] = 1 # P P
CHARS[ 81 ] = 1 # Q Q
CHARS[ 82 ] = 1 # R R
CHARS[ 83 ] = 1 # S S
CHARS[ 84 ] = 1 # T T
CHARS[ 85 ] = 1 # U U
CHARS[ 86 ] = 1 # V V
CHARS[ 87 ] = 1 # W W
CHARS[ 88 ] = 1 # X X
CHARS[ 89 ] = 1 # Y Y
CHARS[ 90 ] = 1 # Z Z
CHARS[ 91 ] = 1 # [
CHARS[ 92 ] = 1 # \
CHARS[ 93 ] = 1 # ]
CHARS[ 94 ] = 1 # ^
CHARS[ 95 ] = 1 # _
CHARS[ 96 ] = 1 # `
CHARS[ 97 ] = 1 # a a
CHARS[ 98 ] = 1 # b b
CHARS[ 99 ] = 1 # c c
CHARS[ 100 ] = 1 # d d
CHARS[ 101 ] = 1 # e e
CHARS[ 102 ] = 1 # f f
CHARS[ 103 ] = 1 # g g
CHARS[ 104 ] = 1 # h h
CHARS[ 105 ] = 1 # i i
CHARS[ 106 ] = 1 # j j
CHARS[ 107 ] = 1 # k k
CHARS[ 108 ] = 1 # l l
CHARS[ 109 ] = 1 # m m
CHARS[ 110 ] = 1 # n n
CHARS[ 111 ] = 1 # o o
CHARS[ 112 ] = 1 # p p
CHARS[ 113 ] = 1 # q q
CHARS[ 114 ] = 1 # r r
CHARS[ 115 ] = 1 # s s
CHARS[ 116 ] = 1 # t t
CHARS[ 117 ] = 1 # u u
CHARS[ 118 ] = 1 # v v
CHARS[ 119 ] = 1 # w w
CHARS[ 120 ] = 1 # x x
CHARS[ 121 ] = 1 # y y
CHARS[ 122 ] = 1 # z z
CHARS[ 123 ] = 1 # {
CHARS[ 124 ] = 1 # |
CHARS[ 125 ] = 1 # }
CHARS[ 126 ] = 1 # ~
CHARS[ 161 ] = 1 # ¡
CHARS[ 162 ] = 1 # ¢
CHARS[ 163 ] = 1 # £
CHARS[ 164 ] = 1 # ¤
CHARS[ 165 ] = 1 # ¥
CHARS[ 166 ] = 1 # ¦
CHARS[ 167 ] = 1 # §
CHARS[ 168 ] = 1 # ¨
CHARS[ 169 ] = 1 # ©
CHARS[ 170 ] = 1 # ª
CHARS[ 171 ] = 1 # «
CHARS[ 172 ] = 1 # ¬
CHARS[ 173 ] = 1 # ­
CHARS[ 174 ] = 1 # ®
CHARS[ 176 ] = 1 # °
CHARS[ 177 ] = 1 # ±
CHARS[ 178 ] = 1 # ²
CHARS[ 179 ] = 1 # ³
CHARS[ 180 ] = 1 # ´
CHARS[ 181 ] = 1 # µ
CHARS[ 182 ] = 1 # ¶
CHARS[ 184 ] = 1 # ¸
CHARS[ 185 ] = 1 # ¹
CHARS[ 186 ] = 1 # º
CHARS[ 187 ] = 1 # »
CHARS[ 188 ] = 1 # ¼
CHARS[ 189 ] = 1 # ½
CHARS[ 190 ] = 1 # ¾
CHARS[ 191 ] = 1 # ¿
CHARS[ 192 ] = 1 # À
CHARS[ 193 ] = 1 # Á
CHARS[ 194 ] = 1 # Â
CHARS[ 195 ] = 1 # Ã
CHARS[ 196 ] = 1 # Ä
CHARS[ 197 ] = 1 # Å
CHARS[ 198 ] = 1 # Æ
CHARS[ 199 ] = 1 # Ç
CHARS[ 200 ] = 1 # È
CHARS[ 201 ] = 1 # É
CHARS[ 202 ] = 1 # Ê
CHARS[ 203 ] = 1 # Ë
CHARS[ 204 ] = 1 # Ì
CHARS[ 205 ] = 1 # Í
CHARS[ 206 ] = 1 # Î
CHARS[ 207 ] = 1 # Ï
CHARS[ 208 ] = 1 # Ð
CHARS[ 209 ] = 1 # Ñ
CHARS[ 210 ] = 1 # Ò
CHARS[ 211 ] = 1 # Ó
CHARS[ 213 ] = 1 # Õ
CHARS[ 214 ] = 1 # Ö
CHARS[ 215 ] = 1 # ×
CHARS[ 216 ] = 1 # Ø
CHARS[ 217 ] = 1 # Ù
CHARS[ 218 ] = 1 # Ú
CHARS[ 219 ] = 1 # Û
CHARS[ 220 ] = 1 # Ü
CHARS[ 221 ] = 1 # Ý
CHARS[ 223 ] = 1 # ß
CHARS[ 224 ] = 1 # à
CHARS[ 225 ] = 1 # á
CHARS[ 226 ] = 1 # â
CHARS[ 227 ] = 1 # ã
CHARS[ 228 ] = 1 # ä
CHARS[ 229 ] = 1 # å
CHARS[ 230 ] = 1 # æ
CHARS[ 231 ] = 1 # ç
CHARS[ 232 ] = 1 # è
CHARS[ 233 ] = 1 # é
CHARS[ 234 ] = 1 # ê
CHARS[ 235 ] = 1 # ë
CHARS[ 236 ] = 1 # ì
CHARS[ 237 ] = 1 # í
CHARS[ 238 ] = 1 # î
CHARS[ 239 ] = 1 # ï
CHARS[ 240 ] = 1 # ð
CHARS[ 241 ] = 1 # ñ
CHARS[ 242 ] = 1 # ò
CHARS[ 243 ] = 1 # ó
CHARS[ 244 ] = 1 # ô
CHARS[ 245 ] = 1 # õ
CHARS[ 246 ] = 1 # ö
CHARS[ 247 ] = 1 # ÷
CHARS[ 248 ] = 1 # ø
CHARS[ 249 ] = 1 # ù
CHARS[ 250 ] = 1 # ú
CHARS[ 251 ] = 1 # û
CHARS[ 252 ] = 1 # ü
CHARS[ 253 ] = 1 # ý
CHARS[ 254 ] = 1 # þ
CHARS[ 255 ] = 1 # ÿ
CHARS[ 338 ] = 1 # Œ
CHARS[ 339 ] = 1 # œ
CHARS[ 352 ] = 1 # Š
CHARS[ 353 ] = 1 # š
CHARS[ 376 ] = 1 # Ÿ
CHARS[ 382 ] = 1 # ž
CHARS[ 402 ] = 1 # ƒ
CHARS[ 710 ] = 1 # ˆ
CHARS[ 732 ] = 1 # ˜
CHARS[ 8211 ] = 1 # –
CHARS[ 8212 ] = 1 # —
CHARS[ 8216 ] = 1 # ‘
CHARS[ 8217 ] = 1 # ’
CHARS[ 8220 ] = 1 # “
CHARS[ 8221 ] = 1 # ”
CHARS[ 8222 ] = 1 # „
CHARS[ 8224 ] = 1 # †
CHARS[ 8225 ] = 1 # ‡
CHARS[ 8226 ] = 1 # •
CHARS[ 8230 ] = 1 # …
CHARS[ 8240 ] = 1 # ‰
CHARS[ 8249 ] = 1 # ‹
CHARS[ 8250 ] = 1 # ›
CHARS[ 8364 ] = 1 # €
CHARS[ 8482 ] = 1 # ™

#ligatures
CHARS[ 57359 ] = 1 # C_h 
CHARS[ 57413 ] = 1 # O_n 
CHARS[ 57437 ] = 1 # T_h 
CHARS[ 57455 ] = 1 # W_h 
CHARS[ 57559 ] = 1 # b_b 
CHARS[ 57563 ] = 1 # b_e 
CHARS[ 57573 ] = 1 # b_i 
CHARS[ 57577 ] = 1 # b_l 
CHARS[ 57580 ] = 1 # b_r 
CHARS[ 57583 ] = 1 # b_s 
CHARS[ 57584 ] = 1 # b_u 
CHARS[ 57588 ] = 1 # b_y 
CHARS[ 57597 ] = 1 # c_h 
CHARS[ 57598 ] = 1 # c_k 
CHARS[ 57599 ] = 1 # c_t 
CHARS[ 57650 ] = 1 # d_d 
CHARS[ 57656 ] = 1 # d_e 
CHARS[ 57657 ] = 1 # d_i 
CHARS[ 57661 ] = 1 # d_r 
CHARS[ 57662 ] = 1 # d_s 
CHARS[ 57663 ] = 1 # d_u 
CHARS[ 57804 ] = 1 # f_b 
CHARS[ 57805 ] = 1 # f_e 
CHARS[ 57820 ] = 1 # f_f_r 
CHARS[ 57821 ] = 1 # f_f_t 
CHARS[ 57822 ] = 1 # f_h 
CHARS[ 57826 ] = 1 # f_j 
CHARS[ 57831 ] = 1 # f_r 
CHARS[ 57833 ] = 1 # f_t 
CHARS[ 57989 ] = 1 # l_b 
CHARS[ 57990 ] = 1 # l_f 
CHARS[ 57991 ] = 1 # l_h 
CHARS[ 57992 ] = 1 # l_k 
CHARS[ 57993 ] = 1 # l_l 
CHARS[ 58103 ] = 1 # o_f 
CHARS[ 58110 ] = 1 # o_f_f 
CHARS[ 58111 ] = 1 # o_f_f_e 
CHARS[ 58112 ] = 1 # o_f_f_i 
CHARS[ 58113 ] = 1 # o_f_i 
CHARS[ 58117 ] = 1 # o_l 
CHARS[ 58118 ] = 1 # o_o 
CHARS[ 58245 ] = 1 # p_e 
CHARS[ 58254 ] = 1 # p_l 
CHARS[ 58255 ] = 1 # p_p 
CHARS[ 58258 ] = 1 # p_r 
CHARS[ 58260 ] = 1 # p_t 
CHARS[ 58291 ] = 1 # r_e 
CHARS[ 58301 ] = 1 # r_f 
CHARS[ 58302 ] = 1 # r_s 
CHARS[ 58304 ] = 1 # r_s_t 
CHARS[ 58306 ] = 1 # r_t 
CHARS[ 58342 ] = 1 # s_f_e 
CHARS[ 58343 ] = 1 # s_h 
CHARS[ 58346 ] = 1 # s_k 
CHARS[ 58349 ] = 1 # s_p 
CHARS[ 58354 ] = 1 # s_s 
CHARS[ 58412 ] = 1 # t_e 
CHARS[ 58421 ] = 1 # t_h 
CHARS[ 58429 ] = 1 # t_l 
CHARS[ 58430 ] = 1 # t_t 
CHARS[ 58576 ] = 1 # w_h 
CHARS[ 58611 ] = 1 # y_g 
CHARS[ 64256 ] = 1 # f_f ff
CHARS[ 64257 ] = 1 # fi
CHARS[ 64258 ] = 1 # fl
CHARS[ 64259 ] = 1 # f_f_i ffi
CHARS[ 64260 ] = 1 # f_f_l ffl
CHARS[ 64262 ] = 1 # s_t st