如何将带语义谓词的ANTLR3词法规则转换为ANTLR4？

问题根源 #

ANTLR4的词法分析采用最长匹配优先原则，且词法规则的语义谓词处理逻辑与ANTLR3存在差异：原ANTLR3中，当QUALIFIED_ATTR的谓词不满足时，规则会被拒绝，解析器会回溯并尝试匹配ATTR规则；但ANTLR4的词法分析器默认不会主动回溯到更短的匹配规则，直接照搬原词法规则会导致谓词失效，或抛出异常终止解析。

解决方案一：调整词法规则，保留语义谓词 #

直接修改词法规则，让QUALIFIED_ATTR仅在后续字符不是(时才匹配，否则词法分析器会回溯尝试ATTR规则：

QUALIFIED_ATTR
    :   '$' ID '.' ID {_input.LA(1) != '('}?
    ;

ATTR
    :   '$' ID
    ;

fragment
ID  :   [a-zA-Z_] [a-zA-Z0-9_]*;

注意事项：

1. 移除词法规则中的直接动作调用，将语义处理移至Listener/Visitor中实现（ANTLR4不推荐在词法规则中嵌入动作）：

   // 示例Listener实现
   @Override
   public void enterQualifiedAttr(ActionSplitterLexer.QualifiedAttrContext ctx) {
       String text = ctx.getText();
       String x = ctx.ID(0).getText();
       String y = ctx.ID(1).getText();
       delegate.qualifiedAttr(text, x, y);
   }
   
   @Override
   public void enterAttr(ActionSplitterLexer.AttrContext ctx) {
       String text = ctx.getText();
       String x = ctx.ID().getText();
       delegate.attr(text, x);
   }
   

2. 当输入为$foo.bar(时，QUALIFIED_ATTR匹配$foo.bar后，谓词检测到下一个字符是(，匹配失败，词法分析器会回溯并匹配ATTR规则，生成$foo token，剩余的.bar(会被拆分为.、ID、(三个独立token。

解决方案二：将规则移至解析器层（推荐） #

将QUALIFIED_ATTR和ATTR从词法规则改为解析器规则，更符合ANTLR4的设计理念，避免词法处理上下文依赖逻辑：

1. 拆分基础词法规则

DOLLAR : '$';
DOT : '.';
LPAREN : '(';
ID : [a-zA-Z_] [a-zA-Z0-9_]*;
// 其他必要的词法规则（如RPAREN、运算符等）

2. 编写解析器规则

// 替换为你的实际入口规则
expr
    : qualifiedAttr
    | attr
    | // 其他语法结构（如函数调用、表达式等）
    ;

qualifiedAttr
    : DOLLAR ID DOT ID {_input.LA(1) != LPAREN}?
    ;

attr
    : DOLLAR ID
    ;

3. 在Listener中处理语义动作

@Override
public void enterQualifiedAttr(ActionSplitterParser.QualifiedAttrContext ctx) {
    String text = ctx.getText();
    String x = ctx.ID(0).getText();
    String y = ctx.ID(1).getText();
    delegate.qualifiedAttr(text, x, y);
}

@Override
public void enterAttr(ActionSplitterParser.AttrContext ctx) {
    String text = ctx.getText();
    String x = ctx.ID().getText();
    delegate.attr(text, x);
}

优势：

• 词法与语法职责分离，代码可读性、可维护性更强；
• 解析器层的语义谓词能更精准地处理上下文依赖，符合ANTLR4的LL(*)解析逻辑。

内容的提问来源于stack exchange，提问作者Mike Lischke