Antlr4 Adjacent Token Precedence规则匹配优先级问题咨询

问题根源 #

Antlr4的assoc配置仅对同一规则的递归产生式生效，你遇到的是跨规则的相邻令牌贪心匹配问题，属于语法歧义的范畴。默认ANTLR会选择最先匹配到的最短左路径，所以才会优先匹配r1的AB结构，剩余单独C节点，和你预期的结构不符。

简化示例的通用解法 #

你可以通过语义谓词强制让r1规则仅在B后面不跟随C的时候才匹配，不需要调整规则顺序，也不会破坏AB、BC各自的合法性：

grammar test;

start: (r1 | r2 | .)*;
r1: A B {_input.LA(1) != C}?; // 只有B后面不是C的时候才匹配r1
r2: B C;

A: 'A'; B: 'B'; C: 'C';

输入ABC的时候，r1的谓词会检测到B后面是C，匹配失败，ANTLR就会尝试其他匹配路径，先让B和后面的C匹配r2，剩下前面的A，完全符合你的预期。单独输入AB时谓词检测B后面无C，r1正常匹配；单独输入BC时r2正常匹配，三个场景都满足。

实际场景适配方案 #

你提到rA匹配开销高、需要复用r4规则，不需要展开B类令牌，用同样的谓词思路即可实现需求，有两种可选方案：

方案1：给rA的尾部classB可选分支加谓词 #

你说明rA仅在部分场景下以classB结尾，只要在rA的classB?分支上添加谓词，仅当classB后面不是classC的时候，才允许rA匹配这个尾部classB：

// 仅修改rA中尾部带classB的分支即可
rA: // 其他无尾部classB的分支
    | 原有rA分支逻辑 classB {!TokenTypeUtil.isClassC(_input.LA(1))}?
    ;

你可以封装工具方法判断LA(1)的令牌类型是否属于classC集合，不需要罗列所有C类令牌，完全兼容r4的复用需求。

方案2：给r3规则添加优先级约束（性能最优） #

如果你不想改动rA的现有规则，可以给r3添加优先级更高的消歧谓词，仅在rA之后的令牌序列符合r4匹配条件时才走rA+r4的路径：

// 直接在r3规则前加谓词预检测
r3: {isFollowedByR4(_input, getCurrentIndex())}? rA r4
    | 其他r3分支
    ;

isFollowedByR4方法只需要检测当前位置后是否满足classB? classC的令牌序列即可，不需要触发rA的重复匹配，性能损失几乎可以忽略，也完全复用r4的现有逻辑和关联代码。

之前尝试无效的原因 #

• 调整规则顺序没用：ANTLR的歧义消解优先选择路径最短的左匹配，r1的AB序列在ABC输入中位置更靠左，不管规则顺序如何调整，只要r1存在都会优先触发匹配
• 右关联没用：assoc=right仅对类似expr: expr '+' expr的同规则递归场景生效，对跨规则的相邻令牌匹配没有任何作用

内容的提问来源于stack exchange，提问作者Aran Sumishii