ANTLR4极简语法场景下错误处理的异常匹配行为问题

异常行为产生原因 #

1. ANTLR4默认开启了容错解析机制，当遇到不符合规则的输入时，会优先通过自动插入缺失token、删除不匹配token的方式尝试完成规则匹配，尽可能不中断解析流程。在你的场景中，解析器识别到输入第一个token是符合Identifier类型的add时，会自动判定此处缺失了define关键字，跳过该错误继续匹配后续的Identifier规则，因此把add错误赋值给了tableNameToken。
2. 你当前的顶层语法规则仅有唯一可选分支，解析器没有其他规则可以尝试匹配，只能触发容错逻辑硬套唯一的defineStatement规则。当你新增多个分支后，解析器会优先尝试匹配其他分支，容错逻辑被触发的门槛大幅提高，因此错误处理会符合预期。另外如果顶层规则没有加EOF结束符标记，解析器只要匹配到部分符合规则的内容就会判定解析成功，也会放大这个异常问题。

优雅解决方案 #

• 给顶层规则新增EOF标记强制全量匹配，修改语法如下：

ddlStatement
    :   defineStatement EOF
    ;

该改动要求解析器必须匹配完所有输入内容才算规则命中，能从根源避免部分匹配、容错吞内容的问题。

• 替换默认错误处理策略，如果你不需要容错解析能力，直接使用严格的BailErrorStrategy，只要遇到语法错误就直接终止解析并抛出异常，不会触发自动补全token的容错逻辑，添加一行代码即可：

parser.setErrorHandler(new BailErrorStrategy());

• 利用ANTLR内置的错误标记过滤异常上下文，如果你需要保留容错能力继续解析全量内容，可以在Listener回调中先判断上下文是否存在错误，再执行业务逻辑，不需要手动校验关键字非空：

@Override
public void exitDefineStatement(DDLParser.DefineStatementContext ctx) {
    // 跳过有解析错误的上下文
    if (ctx.hasError()) {
        return;
    }
    log.info(MessageFormat.format("Defining {0}", ctx.tableNameToken.getText()));
}

• 确保词法规则优先级正确，所有固定关键字的词法定义要放在Identifier规则之前，避免关键字被识别为普通标识符，影响规则匹配判断。

内容的提问来源于stack exchange，提问作者Bob Hablutzel