dorukcan/make_turkish.py

## make_turkish.py
def make_turkish(text, encode=False):
    """
    Transforms a broken text to nice unicode equivalent.

    :param text: Text to modify
    :param encode: Boolean value indicates that whether encode the text to utf-8 or not
    :return: Modified text
    """

    if not text:
        return None

    if encode is True:
        text = text.encode('latin1').decode('utf-8', 'backslashreplace')

    tr_map = {
        '\\xa0': ' ',
        '\xa0': ' ',
        '\t': ' ',
        "&nbsp;": "",
        "&#160;": "",
        "&iexcl;": "¡",
        "&#161;": "¡",
        "&cent;": "¢",
        "&#162;": "¢",
        "&pound;": "£",
        "&#163;": "£",
        "&curren;": "¤",
        "&#164;": "¤",
        "&yen;": "¥",
        "&#165;": "¥",
        "&brvbar;": "¦",
        "&#166;": "¦",
        "&sect;": "§",
        "&#167;": "§",
        "&uml;": "¨",
        "&#168;": "¨",
        "&#169;": "©",
        "&ordf;": "ª",
        "&#170;": "ª",
        "&laquo;": "«",
        "&#171;": "«",
        "&not;": "¬",
        "&#172;": "¬",
        "&shy;": "",
        "&#173;": "",
        "&macr;": "¯",
        "&#175;": "¯",
        "&deg;": "°",
        "&#176;": "°",
        "&plusmn;": "±",
        "&#177;": "±",
        "&sup2;": "²",
        "&#178;": "²",
        "&sup3;": "³",
        "&#179;": "³",
        "&acute;": "´",
        "&#180;": "´",
        'â€¢': '•',
        'â€œ': '“',
        'â€': '”',
        'â€˜': '‘',
        'â€™': '’',
        'Ý¾': 'İ',
        'Ý': 'İ',
        'Ä°': 'İ',
        'Ã': 'İ',
        'â€¹': 'İ',
        '&Yacute;': 'İ',
        'ý': 'ı',
        'Ä±': 'ı',
        'Â±': 'ı',
        'Ã½': 'ı',
        'Ã›': 'ı',
        'â€º': 'ı',
        '&yacute;': 'ı',
        'Þ': 'Ş',
        'Åž': 'Ş',
        'Ã…Å¸': 'Ş',
        'Ã¥Ã¿': 'Ş',
        '&THORN;': 'Ş',
        'þ': 'ş',
        'Å?': 'ş',
        'ÅŸ': 'ş',
        '&thorn;': 'ş',
        'Å\x9f': 'ş',
        'Ð': 'Ğ',
        'Äž': 'Ğ',
        'ð': 'ğ',
        'Ä?': 'ğ',
        'ÄŸ': 'ğ',
        '&eth;': 'ğ',
        'Ä\x9f': 'ğ',
        'Ã‡': 'Ç',
        'Ã?': 'Ç',
        '&Ccedil;': 'Ç',
        'Ã§': 'ç',
        '&ccedil;': 'ç',
        'Ã–': 'Ö',
        '&Ouml;': 'Ö',
        'Ã¶': 'ö',
        '&ouml;': 'ö',
        'Ãœ': 'Ü',
        '&Uuml;': 'Ü',
        'ÃƒÂ¼': 'ü',
        'Ã£Â¼': 'ü',
        'Ã¼': 'ü',
        '&uuml;': 'ü',
        "&copy;": "©",
        "&COPY;": "©",
        "&#x000A9;": "©",
        "&reg;": "®",
        "&circledR;": "®",
        "&REG;": "®",
        "&#x000AE;": "®",
        "&#174;": "®",
        "&trade;": "™",
        "&TRADE;": "™",
        "&#x02122;": "™",
        "&#8482;": "™",
        "&gt;": ">",
        "&GT;": ">",
        "&#x0003E;": ">",
        "&#62;": ">",
        "&lt;": "<",
        "&LT;": "<",
        "&#x0003C;": "<",
        "&#60;": "<",
        "&semi;": ";",
        "&#x0003B;": ";",
        "&#59;": ";",
        "&amp;": "&",
        "&AMP;": "&",
        "&#x00026;": "&",
        "&#38;": "&",
        "&quot;": '"',
        "&QUOT;": '"',
        "&#x00022;": '"',
        "&#34;": '"',
        "&num;": "#",
        "&#x00023;": "#",
        "&#35;": "#",
        "&euro;": "€",
        "â\x80\x99": "'",
        "â\x80\x9d": '"',
    }

    for key, value in tr_map.items():
        text = text.replace(key, value)

    return text
	def make_turkish(text, encode=False):
	"""
	Transforms a broken text to nice unicode equivalent.

	:param text: Text to modify
	:param encode: Boolean value indicates that whether encode the text to utf-8 or not
	:return: Modified text
	"""

	if not text:
	return None

	if encode is True:
	text = text.encode('latin1').decode('utf-8', 'backslashreplace')

	tr_map = {
	'\\xa0': ' ',
	'\xa0': ' ',
	'\t': ' ',
	" ": "",
	" ": "",
	"¡": "¡",
	"¡": "¡",
	"¢": "¢",
	"¢": "¢",
	"£": "£",
	"£": "£",
	"¤": "¤",
	"¤": "¤",
	"¥": "¥",
	"¥": "¥",
	"¦": "¦",
	"¦": "¦",
	"§": "§",
	"§": "§",
	"¨": "¨",
	"¨": "¨",
	"©": "©",
	"ª": "ª",
	"ª": "ª",
	"«": "«",
	"«": "«",
	"¬": "¬",
	"¬": "¬",
	"": "",
	"": "",
	"¯": "¯",
	"¯": "¯",
	"°": "°",
	"°": "°",
	"±": "±",
	"±": "±",
	"²": "²",
	"²": "²",
	"³": "³",
	"³": "³",
	"´": "´",
	"´": "´",
	'â€¢': '•',
	'â€œ': '“',
	'â€': '”',
	'â€˜': '‘',
	'â€™': '’',
	'Ý¾': 'İ',
	'Ý': 'İ',
	'Ä°': 'İ',
	'Ã': 'İ',
	'â€¹': 'İ',
	'Ý': 'İ',
	'ý': 'ı',
	'Ä±': 'ı',
	'Â±': 'ı',
	'Ã½': 'ı',
	'Ã›': 'ı',
	'â€º': 'ı',
	'ý': 'ı',
	'Þ': 'Ş',
	'Åž': 'Ş',
	'Ã…Å¸': 'Ş',
	'Ã¥Ã¿': 'Ş',
	'Þ': 'Ş',
	'þ': 'ş',
	'Å?': 'ş',
	'ÅŸ': 'ş',
	'þ': 'ş',
	'Å\x9f': 'ş',
	'Ð': 'Ğ',
	'Äž': 'Ğ',
	'ð': 'ğ',
	'Ä?': 'ğ',
	'ÄŸ': 'ğ',
	'ð': 'ğ',
	'Ä\x9f': 'ğ',
	'Ã‡': 'Ç',
	'Ã?': 'Ç',
	'Ç': 'Ç',
	'Ã§': 'ç',
	'ç': 'ç',
	'Ã–': 'Ö',
	'Ö': 'Ö',
	'Ã¶': 'ö',
	'ö': 'ö',
	'Ãœ': 'Ü',
	'Ü': 'Ü',
	'ÃƒÂ¼': 'ü',
	'Ã£Â¼': 'ü',
	'Ã¼': 'ü',
	'ü': 'ü',
	"©": "©",
	"&COPY;": "©",
	"©": "©",
	"®": "®",
	"&circledR;": "®",
	"&REG;": "®",
	"®": "®",
	"®": "®",
	"™": "™",
	"&TRADE;": "™",
	"™": "™",
	"™": "™",
	">": ">",
	"&GT;": ">",
	">": ">",
	">": ">",
	"<": "<",
	"&LT;": "<",
	"<": "<",
	"<": "<",
	"&semi;": ";",
	";": ";",
	";": ";",
	"&": "&",
	"&AMP;": "&",
	"&": "&",
	"&": "&",
	""": '"',
	"&QUOT;": '"',
	""": '"',
	""": '"',
	"&num;": "#",
	"#": "#",
	"#": "#",
	"€": "€",
	"â\x80\x99": "'",
	"â\x80\x9d": '"',
	}

	for key, value in tr_map.items():
	text = text.replace(key, value)

	return text