使用Python3+ANTLR4分析COBOL文件：获取Token位置及处理COPY语句

我之前做过COBOL文件的ANTLR4解析需求，刚好涉及到Token位置获取和COPY语句的处理，给你分享一套可行的实现方案：

核心原理：ANTLR4自带Token位置信息 #

ANTLR4生成的词法分析器（Lexer）会为每个Token自动记录位置元数据，完全覆盖你的需求：

• token.line：Token所在的行号（从1开始计数）
• token.column：Token在行内的起始字符位置（从0开始计数）
• token.start：Token在整个字符流中的绝对起始索引（从文件开头算起）
• token.stop：Token在整个字符流中的绝对结束索引（从文件开头算起）

这些属性不需要额外开发，直接调用就能拿到精准的位置信息。

具体实现步骤 #

1. 准备COBOL的ANTLR语法文件 #

首先需要一个匹配目标COBOL版本的ANTLR语法文件（比如COBOL.g4），你可以使用社区维护的标准COBOL语法，确保适配你要解析的COBOL版本（如COBOL85、COBOL2002）。

2. 生成Python版本的解析器和词法器 #

用ANTLR4工具生成Python3兼容的词法分析器和语法分析器代码：

antlr4 -Dlanguage=Python3 COBOL.g4

执行后会生成COBOLLexer.py、COBOLParser.py、COBOLListener.py等文件，这些是后续代码的核心依赖。

3. 编写Python代码获取Token位置 #

下面是一个示例代码，实现了遍历所有Token并筛选MOVE语句，同时通过语法树Listener监听COPY语句的位置：

from antlr4 import FileStream, CommonTokenStream, ParseTreeWalker, Token
from COBOLLexer import COBOLLexer
from COBOLParser import COBOLParser
from COBOLListener import COBOLListener

def process_cobol_file(file_path):
    # 读取COBOL文件（旧文件可能用EBCDIC编码，需先转码为UTF-8）
    input_stream = FileStream(file_path, encoding='utf-8')
    
    # 初始化词法分析器和Token流
    lexer = COBOLLexer(input_stream)
    token_stream = CommonTokenStream(lexer)
    token_stream.fill()  # 预加载所有Token到流中
    
    # 遍历Token，筛选MOVE关键字并打印位置信息
    print("=== 找到的MOVE Token位置 ===")
    for token in token_stream.getTokens():
        # 跳过EOF和无效字符Token
        if token.type in (Token.EOF, COBOLLexer.INVALID_CHAR):
            continue
        
        # 匹配MOVE关键字（语法中MOVE对应的Token类型为COBOLLexer.MOVE）
        if token.type == COBOLLexer.MOVE:
            print(f"Token内容: '{token.text}' | 行号: {token.line} | 行内位置: {token.column} | 绝对字符范围: [{token.start}-{token.stop}]")
    
    # 初始化语法分析器，通过Listener监听COPY语句节点
    parser = COBOLParser(token_stream)
    parse_tree = parser.program()  # 启动语法分析，入口节点需匹配语法文件定义
    
    # 自定义Listener处理COPY语句
    class COPYListener(COBOLListener):
        def enterCopy_statement(self, ctx: COBOLParser.Copy_statementContext):
            # 获取COPY语句的起始Token位置
            start_token = ctx.start
            copy_filename = ctx.copy_source().getText().strip("'\"")  # 提取COPY的文件名
            print(f"\n=== 找到COPY语句 ===")
            print(f"导入文件: {copy_filename} | 起始行号: {start_token.line} | 起始位置: {start_token.column}")
            
            # 这里可以添加COPY文件的递归解析逻辑：
            # 1. 记录当前原文件的位置上下文
            # 2. 递归调用process_cobol_file解析COPY文件
            # 3. 为COPY文件的Token标记来源，区分原文件与导入代码
    
    # 遍历语法树触发Listener回调
    walker = ParseTreeWalker()
    walker.walk(COPYListener(), parse_tree)

if __name__ == "__main__":
    process_cobol_file("your_target_cobol_file.cbl")

处理COPY语句的关键逻辑 #

COPY语句的核心是递归解析外部文件并跟踪代码段归属，你可以在enterCopy_statement方法中补充以下逻辑：

• 提取COPY的文件名，递归调用解析函数处理导入文件
• 为COPY文件的所有Token添加来源标记（比如新增source_file属性），明确区分原文件和导入的代码段
• 记录原文件中COPY语句的位置，方便后续定位当前解析的代码属于哪个文件

注意事项 #

• COBOL版本兼容性：不同版本的COBOL语法差异较大，务必使用匹配目标版本的ANTLR语法文件
• 编码问题：部分老旧COBOL文件使用EBCDIC编码，可先用chardet库检测编码，转成UTF-8后再处理
• 位置准确性：若需要合并原文件与COPY文件的位置信息，可以在解析COPY时调整Token的位置偏移量，或分开维护每个文件的位置上下文

内容的提问来源于stack exchange，提问作者jottbe