请求解析Token与Lexeme的概念、层级关系及类型对应

核心概念区分 #

• Token（标记）：是词法分析中的抽象类型，对应自然语言里的“词性”（比如动词、名词）。编译器里常见的Token类型有IDENTIFIER（标识符）、INTEGER_LITERAL（整数字面量）、PLUS（加号）、KEYWORD_IF（if关键字）等。
• Lexeme（词素）：是对应Token类型的具体实例，也就是源代码里实际出现的字符序列，对应自然语言里的具体单词（比如“run”是动词的实例）。比如代码里的userName是IDENTIFIER类型的lexeme，42是INTEGER_LITERAL的lexeme，+是PLUS的lexeme。

层级关系 #

Token是更高维度的抽象分类，Lexeme是这个分类下的具象内容。词法分析器的核心工作就是扫描源代码，把一段段连续的字符序列（lexeme）匹配、归类到对应的Token类型中——简单说就是给每个具体的“代码单词”贴上“语法类型标签”。

类型与实例的对应关系 #

完全符合你举的自然语言类比逻辑：Token是类型（比如动词），Lexeme是该类型的实例（比如“run”）。比如当词法分析器扫到代码里的while，会把这个lexeme归到KEYWORD_WHILE这个Token类型；扫到3.14，就对应FLOAT_LITERAL Token类型。

内容的提问来源于stack exchange，提问作者bufor