NKFC Normalization mapping

nkfc.json

{
    ' ': ['\xa0', '\u2000', '\u2001', '\u2002', '\u2003', '\u2004', '\u2005', '\u2006', '\u2007', '\u2008', '\u2009', '\u200a', '\u202f', '\u205f', '\u3000'],
    '!': ['︕', '﹗', '！'],
    '!?': ['⁉'],
    '"': ['＂'],
    '#': ['﹟', '＃'],
    '$': ['﹩', '＄'],
    '%': ['﹪', '％'],
    '&': ['﹠', '＆'],
    "'": ['＇'],
    '(': ['⁽', '₍', '︵', '﹙', '（'],
    ')': ['⁾', '₎', '︶', '﹚', '）'],
    '*': ['﹡', '＊'],
    '+': ['⁺', '₊', '﬩', '﹢', '＋'],
    ',': ['︐', '﹐', '，'],
    '-': ['﹣', '－'],
    '.': ['․', '﹒', '．'],
    '..': ['‥', '︰'],
    '...': ['…', '︙'],
    '/': ['／'],
    '0': ['⁰', '₀', '⓪', '０'],
    '1': ['¹', '₁', '①', '１'],
    '1.': ['⒈'],
    '10.': ['⒑'],
    '11.': ['⒒'],
    '12.': ['⒓'],
    '13.': ['⒔'],
    '14.': ['⒕'],
    '15.': ['⒖'],
    '16.': ['⒗'],
    '17.': ['⒘'],
    '18.': ['⒙'],
    '19.': ['⒚'],
    '2': ['²', '₂', '②', '２'],
    '2.': ['⒉'],
    '20.': ['⒛'],
    '3': ['³', '₃', '③', '３'],
    '3.': ['⒊'],
    '4': ['⁴', '₄', '④', '４'],
    '4.': ['⒋'],
    '5': ['⁵', '₅', '⑤', '５'],
    '5.': ['⒌'],
    '6': ['⁶', '₆', '⑥', '６'],
    '6.': ['⒍'],
    '7': ['⁷', '₇', '⑦', '７'],
    '7.': ['⒎'],
    '8': ['⁸', '₈', '⑧', '８'],
    '8.': ['⒏'],
    '9': ['⁹', '₉', '⑨', '９'],
    '9.': ['⒐'],
    ':': ['︓', '﹕', '：'],
    '::=': ['⩴'],
    ';': [';', '︔', '﹔', '；'],
    '<': ['﹤', '＜'],
    '=': ['⁼', '₌', '﹦', '＝'],
    '==': ['⩵'],
    '===': ['⩶'],
    '>': ['﹥', '＞'],
    '?': ['︖', '﹖', '？'],
    '?!': ['⁈'],
    '??': ['⁇'],
    '@': ['﹫', '＠'],
    'A': ['ᴬ', 'Ⓐ', 'Ａ'],
    'B': ['ᴮ', 'ℬ', 'Ⓑ', 'Ｂ'],
    'C': ['ℂ', 'ℭ', 'Ⅽ', 'Ⓒ', 'Ｃ'],
    'Co.': ['㏇'],
    'D': ['ᴰ', 'ⅅ', 'Ⅾ', 'Ⓓ', 'Ｄ'],
    'E': ['ᴱ', 'ℰ', 'Ⓔ', 'Ｅ'],
    'F': ['ℱ', 'Ⓕ', 'Ｆ'],
    'G': ['ᴳ', 'Ⓖ', 'Ｇ'],
    'H': ['ᴴ', 'ℋ', 'ℌ', 'ℍ', 'Ⓗ', 'Ｈ'],
    'I': ['ᴵ', 'ℐ', 'ℑ', 'Ⅰ', 'Ⓘ', 'Ｉ'],
    'J': ['ᴶ', 'Ⓙ', 'Ｊ'],
    'K': ['ᴷ', 'K', 'Ⓚ', 'Ｋ'],
    'L': ['ᴸ', 'ℒ', 'Ⅼ', 'Ⓛ', 'Ｌ'],
    'M': ['ᴹ', 'ℳ', 'Ⅿ', 'Ⓜ', 'Ｍ'],
    'N': ['ᴺ', 'ℕ', 'Ⓝ', 'Ｎ'],
    'O': ['ᴼ', 'Ⓞ', 'Ｏ'],
    'P': ['ᴾ', 'ℙ', 'Ⓟ', 'Ｐ'],
    'Q': ['ℚ', 'Ⓠ', 'Ｑ'],
    'R': ['ᴿ', 'ℛ', 'ℜ', 'ℝ', 'Ⓡ', 'Ｒ'],
    'S': ['Ⓢ', 'Ｓ'],
    'T': ['ᵀ', 'Ⓣ', 'Ｔ'],
    'U': ['ᵁ', 'Ⓤ', 'Ｕ'],
    'V': ['Ⅴ', 'Ⓥ', 'ⱽ', 'Ｖ'],
    'W': ['ᵂ', 'Ⓦ', 'Ｗ'],
    'X': ['Ⅹ', 'Ⓧ', 'Ｘ'],
    'Y': ['Ⓨ', 'Ｙ'],
    'Z': ['ℤ', 'ℨ', 'Ⓩ', 'Ｚ'],
    '[': ['﹇', '［'],
    '\\': ['﹨', '＼'],
    ']': ['﹈', '］'],
    '^': ['＾'],
    '_': ['︳', '︴', '﹍', '﹎', '﹏', '＿'],
    '`': ['`', '｀'],
    'a': ['ª', 'ᵃ', 'ₐ', 'ⓐ', 'ａ'],
    'a.m.': ['㏂'],
    'a/c': ['℀'],
    'a/s': ['℁'],
    'b': ['ᵇ', 'ⓑ', 'ｂ'],
    'c': ['ᶜ', 'ⅽ', 'ⓒ', 'ｃ'],
    'c/o': ['℅'],
    'c/u': ['℆'],
    'd': ['ᵈ', 'ⅆ', 'ⅾ', 'ⓓ', 'ｄ'],
    'e': ['ᵉ', 'ₑ', 'ℯ', 'ⅇ', 'ⓔ', 'ｅ'],
    'f': ['ᶠ', 'ⓕ', 'ｆ'],
    'g': ['ᵍ', 'ℊ', 'ⓖ', 'ｇ'],
    'h': ['ʰ', 'ℎ', 'ⓗ', 'ｈ'],
    'i': ['ᵢ', 'ⁱ', 'ℹ', 'ⅈ', 'ⅰ', 'ⓘ', 'ｉ'],
    'j': ['ʲ', 'ⅉ', 'ⓙ', 'ⱼ', 'ｊ'],
    'k': ['ᵏ', 'ⓚ', 'ｋ'],
    'l': ['ˡ', 'ℓ', 'ⅼ', 'ⓛ', 'ｌ'],
    'm': ['ᵐ', 'ⅿ', 'ⓜ', 'ｍ'],
    'n': ['ⁿ', 'ⓝ', 'ｎ'],
    'o': ['º', 'ᵒ', 'ₒ', 'ℴ', 'ⓞ', 'ｏ'],
    'p': ['ᵖ', 'ⓟ', 'ｐ'],
    'p.m.': ['㏘'],
    'q': ['ⓠ', 'ｑ'],
    'r': ['ʳ', 'ᵣ', 'ⓡ', 'ｒ'],
    's': ['ſ', 'ˢ', 'ⓢ', 'ｓ'],
    't': ['ᵗ', 'ⓣ', 'ｔ'],
    'u': ['ᵘ', 'ᵤ', 'ⓤ', 'ｕ'],
    'v': ['ᵛ', 'ᵥ', 'ⅴ', 'ⓥ', 'ｖ'],
    'w': ['ʷ', 'ⓦ', 'ｗ'],
    'x': ['ˣ', 'ₓ', 'ⅹ', 'ⓧ', 'ｘ'],
    'y': ['ʸ', 'ⓨ', 'ｙ'],
    'z': ['ᶻ', 'ⓩ', 'ｚ'],
    '{': ['︷', '﹛', '｛'],
    '|': ['｜'],
    '}': ['︸', '﹜', '｝'],
    '~': ['～']
}

nkfc_script.py

import requests
import rich
from bs4 import BeautifulSoup
from rich.syntax import Syntax

url = "https://appcheck-ng.com/wp-content/uploads/unicode_normalization.html"

soup = BeautifulSoup(requests.get(url).text, "lxml")

characters = soup.find("table").find_all("tr")[1:]

output = {}

for character in characters:
    original = character.find("td").text
    alternatives = character.find_all("td")[2:]
    for alternative in alternatives:
        if not "NFKC" in alternative.text:
            print(alternative.text.split(";")[1], '"is not NFKC')
            continue
        if output.get(original):
            output[original].append(alternative.find("span").text)
        else:
            output[original] = [alternative.find("span").text]
rich.print(output)