如何在Antlr4中基于#line指令切换错误报告的源文件与行号？

一、核心逻辑 #

Antlr4默认基于预处理后的输入流生成行号和源文件信息，要指向真实的源/头文件，需要在词法分析阶段维护真实源文件路径和行号偏移量，并覆盖Token的默认位置属性，让后续错误报告直接使用修正后的值。

二、词法分析器的改造方案 #

Antlr4生成的词法分析器继承自Lexer类，你可以通过扩展它实现自定义位置跟踪：

1. 添加状态跟踪变量
   在自定义词法分析器中新增成员变量，记录当前真实的源文件和行号偏移：

private String currentRealFile; // 当前真实源文件名
private int lineOffset = 0;    // 预处理行号与真实行号的差值
private int preprocessedLine = 1; // 预处理流的当前行号，用于计算偏移

（其他语言如Python/C#可对应调整语法）

2. 解析#line指令并更新状态
   首先在.g4词法规则中新增规则匹配#line指令，比如：

LINE_DIRECTIVE : '#line' WS+ DIGIT+ (WS+ STRING)? -> skip; // 或根据需求决定是否保留Token

然后在词法分析器的nextToken方法中处理指令：

@Override
public Token nextToken() {
    Token token = super.nextToken();
    
    // 匹配#line指令并解析参数
    if (token.getType() == YourLangLexer.LINE_DIRECTIVE) {
        String directiveContent = token.getText();
        // 用正则提取行号和文件名（实际场景可优化解析逻辑）
        Matcher matcher = Pattern.compile("#line\\s+(\\d+)(?:\\s+\"([^\"]+)\")?").matcher(directiveContent);
        if (matcher.find()) {
            int realLine = Integer.parseInt(matcher.group(1));
            String newFile = matcher.group(2);
            
            if (newFile != null) {
                currentRealFile = newFile;
            }
            // 计算偏移：预处理行号 - 真实行号 = 后续Token需要减去的差值
            lineOffset = preprocessedLine - realLine;
        }
    }
    
    // 修正Token的位置信息
    if (currentRealFile != null) {
        // 替换Token的源文件标识
        ((CommonToken)token).setSource(new Pair<>(currentRealFile, token.getSource().b));
    }
    // 替换为真实行号
    ((CommonToken)token).setLine(token.getLine() - lineOffset);
    preprocessedLine = token.getLine();
    
    return token;
}

三、解析器错误报告的适配 #

Antlr4的默认错误监听器会直接使用Token的getLine()和getSource()属性，只要词法阶段修正了这些值，错误报告就会自动显示真实的源文件和行号。

如果需要自定义错误格式，可以实现自己的错误监听器：

public class RealSourceErrorListener extends BaseErrorListener {
    @Override
    public void syntaxError(Recognizer<?, ?> recognizer, Object offendingSymbol,
                            int line, int charPositionInLine, String msg, RecognitionException e) {
        Token errToken = (Token) offendingSymbol;
        String sourceFile = errToken.getSource().a.toString();
        // 这里的line已经是修正后的真实行号
        System.err.printf("错误：%s 第%d行第%d列 - %s%n", sourceFile, line, charPositionInLine, msg);
    }
}

初始化解析器时替换默认监听器：

parser.removeErrorListeners();
parser.addErrorListener(new RealSourceErrorListener());

四、注意事项 #

• 确保词法规则优先匹配#line指令，避免被当作普通代码或注释处理。
• 切换源文件时要重置lineOffset，保证不同文件的行号计算独立。
• 确认生成的Token是CommonToken（Antlr4默认配置），否则无法直接修改位置属性。

内容的提问来源于stack exchange，提问作者user7018565