Abdullah Pazarbaşı

Lexer

28 Mayıs 2019 Salı

Bir karakter dizisini token’lara bölüp bir token dizisi oluşturmaya yarayan kod parçasıdır. Yaptığı işleme “lexical analysis”, “lexing” veya “tokenization” denir.