为什么添加未使用的ANTLR parser规则会改变语法匹配输出结果？

问题解答 #

1. 为什么'a'和'e'无法被正常匹配？

你在unused_rule中定义的'a'、'b'到'f'这类字符串字面量，会被ANTLR自动生成对应的隐式词法规则，这类隐式词法规则的优先级默认高于你显式定义的LETTER词法规则。因此词法分析器扫描输入的apple时，会将'a'和'e'识别为对应字符串字面量的专属令牌，而非你预期的LETTER令牌，但headword规则只接受LETTER类型的令牌，因此匹配失败，抛出extraneous input错误。

2. 同样被标记为'extraneous input'，为什么'apple'开头的'a'被包含在headword中，而末尾的'e'没有被包含？

这是ANTLR默认的错误恢复策略导致的：在规则匹配的起始位置遇到不匹配令牌时，解析器会优先尝试容错消费该令牌，保证后续规则能够正常执行，因此开头的'a'被容错纳入headword的匹配结果；而在headword匹配到第四个字符'l'后，下一个令牌是无法匹配LETTER的'e'，此时解析器会判定当前headword规则已经匹配完成，将剩余的'e'作为多余令牌抛给上层的entry规则处理，因此末尾的'e'没有被纳入headword中。

3. 为什么添加未使用的parser规则会改变语法表现？

ANTLR编译语法文件时会全量扫描所有规则，而非仅扫描被入口规则调用的规则。只要任何parser规则中包含字符串字面量，无论该规则是否被调用，都会触发隐式词法规则的生成，直接影响词法分析阶段的令牌识别逻辑，进而改变整体语法的匹配表现。不要将Prolog的按需规则调用逻辑套用到ANTLR上，二者的执行模型完全不同。

4. 在哪里可以获取免费的ANTLR运行机制相关资料？

你可以通过以下渠道获取相关资料：

• ANTLR官方推出的《The Definitive ANTLR 4 Reference》有公开的免费电子版内容，覆盖规则优先级、解析算法、运行时求值逻辑等底层内容
• ANTLR官方GitHub仓库的文档目录下，有专门的进阶文档讲解词法规则优先级、错误恢复机制、规则匹配顺序等内容
• 技术社区中ANTLR核心维护者发布的相关技术博客，也有大量底层运行机制的拆解内容

内容的提问来源于stack exchange，提问作者Sergey Slepov