Bir karakter dizisini token’lara bölüp bir token dizisi oluşturmaya yarayan kod parçasıdır. Yaptığı işleme “lexical analysis”, “lexing” veya “tokenization” denir.