Antlr4 将运算符提取为子规则后语法匹配失败问题求解

核心原因 #

ANTLR的词法解析存在两个核心规则，是你当前问题的根本诱因：

1. 词法规则严格按定义顺序分配优先级，先定义的规则优先级更高。如果在语法规则中直接写'+'/'-'这类字面量，ANTLR会隐式生成对应的匿名词法规则，优先级比你后续显式定义的同名匹配规则更高。
2. 词法匹配遵循「最长匹配优先」原则：输入字符会优先匹配能覆盖更多字符的词法规则。

你现在的配置冲突点非常明确：

• 你在一元表达式规则里直接写了'+' | '-'，生成了优先级更高的匿名+/-词法标记
• 你后续定义的ADD_SUB词法规则也匹配+/-，但优先级低于匿名标记
• 词法分析器遇到输入里的+/-时，只会输出匿名+/-标记，不会输出ADD_SUB标记，而你的语法规则中expression ADD_SUB expression要求匹配ADD_SUB标记，类型对不上自然报错。

至于UNARY_PRE_OR_POST没有问题，是因为它匹配的++/--是双字符，比单个+/-更长，符合最长匹配优先原则，词法分析器会正确将连续两个+识别为UNARY_PRE_OR_POST，不会拆分为两个+标记。

你把规则改成expression ('+' | '-') expression后恢复正常，是因为此时语法规则要求匹配的就是匿名+/-标记，和词法输出的标记类型一致。

正确实现方式 #

有两种常用的规范写法可以解决这个问题，你可以根据需求选择：

方案1：统一用词法规则，禁止混合字面量和规则名 #

将所有语法规则中用到+/-的位置，全部替换为显式定义的词法规则名，不要混合写字面量和规则名：

expression
    :   (value | VariableName)
        | bin_op='(' expression ')'
        | expression UNARY_PRE_OR_POST
        // 这里把'+'|'-'替换为ADD_SUB
        | (UNARY_PRE_OR_POST | ADD_SUB | '!' | '~' | type_cast) expression
        | expression MUL_DIV_MOD expression
        | expression ADD_SUB expression
    ;

// 词法规则顺序保持：长匹配规则在前，短匹配在后
UNARY_PRE_OR_POST
    : '++' | '--'
    ;

MUL_DIV_MOD
    : '*' | '/' | '%'
    ;

ADD_SUB
    : '+' | '-'
    ;

方案2：用语法子规则封装运算符，避免词法冲突 #

如果你不想管理词法规则优先级，可以把运算符封装为小写开头的语法子规则，完全规避词法层面的冲突：

expression
    :   (value | VariableName)
        | bin_op='(' expression ')'
        | expression unary_pre_or_post
        | (unary_pre_or_post | add_sub | '!' | '~' | type_cast) expression
        | expression mul_div_mod expression
        | expression add_sub expression
    ;

// 语法子规则（小写开头）
unary_pre_or_post: '++' | '--';
mul_div_mod: '*' | '/' | '%';
add_sub: '+' | '-';

这种写法不需要调整词法规则顺序，语法解析阶段会自动匹配对应字面量，更适合新手快速落地。

内容的提问来源于stack exchange，提问作者Joseph Larson