Apache Pig从ANTLR3迁移至ANTLR4的语法适配问题咨询

1. tokens {} 区块的语法变更 #

你的怀疑完全正确，ANTLR4对tokens {}区块的语法做了明确变更：

• ANTLR3中，token列表用分号;分隔每个token
• ANTLR4中，必须改用逗号,分隔，且最后一个token后面不能添加逗号

错误场景 #

原ANTLR3代码片段：

tokens {
    QUERY;
    STATEMENT;
    FUNC;
    FUNC_REF;
    FUNC_EVAL;
    // ... 其他token
}

触发的错误：

error(50): QueryParser.g4:37:9: syntax error: mismatched input ';' expecting RBRACE

修正后的写法 #

tokens {
    QUERY,
    STATEMENT,
    FUNC,
    FUNC_REF,
    FUNC_EVAL
    // ... 其他token，最后一个无逗号
}

2. 树重写规则的语法变更 #

这类报错确实源于ANTLR4与ANTLR3的标点/语法规则差异：ANTLR4彻底移除了ANTLR3中的AST重写语法。

• ANTLR3中用-> ^(ROOT_CHILD ...)语法手动指定AST结构
• ANTLR4默认生成Parse Tree，不再支持这种重写语法，因此->符号会被判定为非法输入

错误场景 #

原ANTLR3语法片段：

query : statement* EOF -> ^( QUERY statement* )
;

触发的错误：

error(50): QueryParser.g4:10:23: syntax error: '->' came as a complete surprise to me while looking for rule element

修正后的写法 #

直接移除重写规则，简化为：

query : statement* EOF;

补充说明 #

如果需要对Parse Tree做自定义结构转换（类似原AST的需求），ANTLR4推荐通过以下方式实现：

• 使用Listener或Visitor模式遍历Parse Tree，在回调方法中构建自定义的AST结构
• 若仍需声明树结构，可使用ANTLR4的tree grammar语法，但写法与ANTLR3差异极大，建议直接基于Parse Tree做后续处理

内容的提问来源于stack exchange，提问作者Mark Rostron