词法分析器如何处理拼接在一起的Token？结合Java代码场景解析

先看标准的Java类定义代码：

class className {

}

如果把类名className直接跟关键字class拼在一起，同时让类名和左大括号{也连在一起，词法分析器会怎么处理？

处理逻辑说明 #

Java的词法分析器会按照优先识别完整关键字的规则处理这类拼接场景：

• 当扫描到class这四个字符时，会先将其识别为关键字Token，然后继续扫描后续的className，将其作为类名字符串标识符输出。
• 要是类名和{直接拼接，逻辑也一致：先识别出完整的类名标识符，再把{作为单独的符号Token处理。

比如下面这个没有单独class关键字的输入：

classclassName{

}

词法分析器会将它拆分为三个独立的Token：

• 关键字 class
• 标识符 className
• 左大括号 {

内容的提问来源于stack exchange，提问作者Developer