!-- flowchart 箭头图标 勿删 --
语言处理器的第一个组成部分是词法分析器（lexer），也叫scanner。程序的源代码最初是一长串字符串。从内部来看，源代码中的换行也能用专门的（不可见）换行符表示。所以这一长串代码会首先被处理为一个一个的token，也成为token流。语言处理器的第一个组
阅读背景：
Graduation Project——词法分析器
来源：互联网
分享到：
