ANTLR词法分析器tokens代码块的含义及使用场景咨询

核心含义 #

tokens { STRING }是在词法分析器中声明一个自定义令牌类型，这个类型不属于直接通过词法规则定义的令牌（比如示例里的DOUBLE、SINGLE），是一个可被多个词法规则复用的抽象令牌标识。

使用原因 #

示例里的DOUBLE和SINGLE分别匹配双引号、单引号包裹的字符串，但我们希望它们传递给语法分析器时，被识别为同一种令牌类型STRING，而非两个独立令牌。

如果不提前用tokens { STRING }声明，直接在-> type(STRING)中使用STRING，ANTLR会报错——因为它找不到这个令牌类型的定义。必须先通过tokens { ... }声明这个自定义令牌，让ANTLR识别它的存在，词法规则才能通过type(...)命令将匹配内容重定向到该令牌类型。

补充说明 #

• 这种声明方式也可用于语法分析器（.g4文件），用来定义无需对应具体词法规则的抽象令牌，比如语法逻辑里的辅助令牌。
• 声明后的令牌会被包含进ANTLR生成的代码，语法分析器可直接针对STRING编写规则，无需区分双引号或单引号字符串，简化语法逻辑。

内容的提问来源于stack exchange，提问作者LppEdd