Simple tokenizer examples

simple-html-tokeniser.js

`<div>
  Some text here
  <div>
    <h3>Lorem <a href="./abc/def.html">ipsum</a></h3>
    <p>Dolor sit</p>
    <p>amet</p>
</div>`
  .split(/([<>\s="\/]{1})/g)
  .map(s=>s.trim())
  .filter(Boolean)

/*
Result:
["<", "div", ">", "Some", "text", "here", "<", "div", ">", "<", 
  "h3", ">", "Lorem", "<", "a", "href", "=", """, ".", "/", "abc",  
  "/", "def.html", """, ">", "ipsum", "<", "/", "a", ">", "<", "/",  
  "h3", ">", "<", "p", ">", "Dolor", "sit", "<", "/", "p", ">", "<",  
  "p", ">", "amet", "<", "/", "p", ">", "<", "/", "div", ">"]
*/

simple-lang-tokenizer.js

`pkg bar {
  func foo() {
    a = 1;
    d = false; #lorem ipsum#
    e = {
      x: 1.35, #dolor sit#
      y: 2.2,
      f: "\"to\""
    }
  };
  b = "abc";
  c = foo();
}`
  .split(/([\s\(\)\{\}=;"\.\,#]{1})/g)
  .map(s=>s.trim())
  .filter(Boolean);

/*
Result:
["pkg", "bar", "{", "func", "foo", "(", ")", "{", 
  "a", "=", "1", ";", "d", "=", "false", ";", "#",  
  "lorem", "ipsum", "#", "e", "=", "{", "x:", "1",  
  ".", "35", ",", "#", "dolor", "sit", "#", "y:",  
  "2", ".", "2", ",", "f:", """, "\", """, "to",  
  "\", """, """, "}", "}", ";", "b", "=", """,  
  "abc", """, ";", "c", "=", "foo", "(", ")", ";",  
  "}"]
*/

Known issue 1: Multiple spaces and line-breaks inside strings are lost.
Possible solution/idea: Removing the .map(s=>s.trim()) operation will keep all spaces, and spaces will be available with context.