Optimal tokenizer, P&P, max color len 16, nanochat pretokenizer, two special tokens, all bytes included.

toks.py

[
    b' Lizzy', b'count', b'end', b'ound', b' speak', b'You', b'ove', b' en',
    b'de', b'est', b'the', b'av', b' see', b'un', b'ough', b'ate', b' im',
    b' like', b'am', b'ac', b' hope', b'ook', b'ect', b'ess', b'ell', b' m',
    b'ake', b'ight', b' little', b' l', b'el', b'ood', b'pos', b' some',
    b'if', b'bject', b'ous', b' com', b'om', b' ac', b'ul', b' part', b'app',
    b'up', b' v', b' st', b' shall', b'ill', b'ain', b'ch', b' however',
    b'ro', b' pro', b'ter', b'li', b'hi', b'sible', b'ity', b'il', b'ther',
    b'ment', b' mo', b' H', b'ol', b'ion', b'us', b' o', b'ver', b'ne',
    b' about', b'ence', b' de', b' ne', b' per', b' h', b'ance', b'ri', b'ic',
    b'ant', b'st', b'id', b' dis', b'ure', b'own', b'to', b'ent', b'age',
    b' un', b' family', b'is', b' p', b'ow', b' daughter', b' d', b'ur',
    b' t', b'et', b'ish', b' man', b'en', b'er', b' certain', b'able', b'ce',
    b'ive', b'at', b'es', b'th', b'ay', b'ut', b' e', b'as', b'ar', b'ation',
    b'in', b'an', b'or', b' con', b' cannot', b'ed', b'our', b' pleas', b'it',
    b'se', b' The', b' c', b'ard', b'ir', b'he', b'le', b'ad', b'qu', b' L',
    b're', b' g', b' re', b'al', b' when', b' should', b' believe', b' who',
    b'and', b' s', b' w', b' f', b' ', b'e', b't', b'a', b'o', b'n', b'i',
    b'h', b's', b'r', b'd', b'l', b'u', b'\n', b'c', b'm', b'y', b'f', b'w',
    b'g', b',', b'p', b'b', b'.', b'v', b'"', b'k', b'I', b' in', b'M',
    b'-', b';', b'B', b'T', b'z', b'E', b'_', b' me', b'x', b'L', b' of',
    b'H', b"'", b' Gardiner', b'C', b'W', b'q', b'j', b'D', b'A', b'S',
    b' as', b'!', b'?', b' every', b' him', b'Y', b'P', b'J', b'N', b'G',
    b'ly', b'--', b'R', b'O', b' the', b'F', b'.\n\n', b' all', b' a',
    b'K', b' will', b'1', b' much', b' b', b'U', b':', b' sister', b'V',
    b'*', b' Netherfield', b' must', b'X', b' at', b' Darcy', b'(', b')',
    b'/', b'Gutenberg', b' there', b'2', b' with', b'on', b' by', b',"',
    b' she', b'?"\n\n', b'4', b'6', b' this', b'self', b' am', b'7', b'0',
    b' they', b' said', b' to', b'&', b'3', b'8', b' have', b' Elizabeth',
    b'Elizabeth', b' But', b'5', b'\xc3', b' been', b' She', b' or',
    b' though', b' Lydia', b'for', b'9', b' for', b' an', b' Mr', b' it',
    b' "', b' Longbourn', b' Bennet', b' again', b' great', b' any', b' he',
    b'\xaa', b' Bingley', b' which', b' his', b' was', b' her', b',\n',
    b'CHAPTER', b' think', b' what', b' and', b']', b'[', b' know',
    b'."\n\n', b' ex', b'\xa0', b' before', b' their', b' them', b' not',
    b'    ', b' you', b' on', b' no', b'}', b'Z', b'{', b'^', b' always',
    b' friend', b' would', b' after', b'thing', b' that', b' time', b' had',
    b' so', b'$', b'#', b' Catherine', b'Charlotte', b' Collins',
    b' Wickham', b' could', b' Miss', b' were', b' such', b' Jane',
    b' very', b' your', b' from', b' than', b' but', b' are', b' be',
    b'ing', b' is', b' my', b' do', b' _', b' I', b"'s", b'Q', b'@',
    b'\xbf', b'\xef', b'\xbb', b'%', b'\xb8', b'\xcf', b'\x0b', b'\x13',
    b'`', b'\x8b', b'\xc9', b'\x9f', b'\x8a', b'\x9b', b'\x85', b'\x81',
    b'\x11', b'\xdf', b'\xda', b'\xdd', b'|', b'\x90', b'\xb9', b'\x91',
    b'\xfd', b'\xac', b'\xcd', b'\xd3', b'\xc2', b'\x15', b'\xe6',
    b'\x01', b'\x9d', b'\xf9', b'\xfe', b'\xd4', b'\xc0', b'\x1a',
    b'\r', b'\\', b'\xea', b'\xf8', b'\x1b', b'\x98', b'\xa9', b'\x1f',
    b'\x80', b'\xe5', b'\x96', b'~', b'\x16', b'\xf0', b'\x82', b'\x05',
    b'\xee', b'\x8c', b'\x04', b'\xf1', b'\xb7', b'\xd2', b'\x14',
    b'\xd5', b'\x1e', b'\x89', b'\x92', b'\x9e', b'\xd6', b'\x84',
    b'\x0f', b'\xff', b'\x12', b'\xfb', b'\x9c', b'\xe3', b'\xa3',
    b'\x86', b'\xb1', b'\xe0', b'\xde', b'\x88', b'\xb2', b'\xd0',
    b'\x0c', b'\x7f', b'\xbd', b'\xa4', b'\xb5', b'\xa5', b'\xd7',
    b'\t', b'\x8f', b'\xc5', b'\xc7', b'\xf2', b'\xe8', b'\xed',
    b'\xc8', b'\x9a', b'\xeb', b'\x18', b'\xa2', b'\xce', b'\x8e',
    b'\xa6', b'\x93', b'\xb6', b'\xb0', b'\xad', b'\xdb', b'\x00',
    b'\x06', b'\x1c', b'\xec', b'\xca', b'\x87', b'\xba', b'\x97',
    b'\x83', b'\xc1', b'\xf4', b'\xe9', b'\xd9', b'\xe2', b'\xfa',
    b'\x94', b'\xd8', b'\xcc', b'\xa8', b'\xa7', b'\xcb', b'\x03',
    b'\xfc', b'\xab', b'=', b'\x19', b'\x0e', b'\xf5', b'\xdc',
    b'\xb3', b'\xe1', b'\x95', b'\xe7', b'\x10', b'\xf7', b'\x17',
    b'\xae', b'\xa1', b'\x1d', b'\x99', b'+', b'\xc4', b'\x08',
    b'\x07', b'\xe4', b'\x02', b'\xf6', b'\xb4', b'\xd1', b'\xbe',
    b'>', b'\xaf', b'\xbc', b'\xc6', b'\xf3', b'<', b'\x8d',
]