Lexer

como funciona um lexer
O lexer apenas transforma a string sem sentido em uma lista simples de coisas como "literal de número", "literal de string", "identificador" ou "opera...