Bir karakter dizisini token’lara bölüp bir token dizisi oluşturmaya yarayan kod parçasıdır. Yaptığı işleme “lexical analysis”, “lexing” veya “tokenization” denir.
Bir karakter dizisini token’lara bölüp bir token dizisi oluşturmaya yarayan kod parçasıdır. Yaptığı işleme “lexical analysis”, “lexing” veya “tokenization” denir.