Python中ANTLR生成Java代码AST的可视化及语法错误追踪问题

1. AST可视化方案 #

有两种常用的落地方式：

• 方案一：使用ANTLR自带的grun工具
  你只要已经准备好了Java语法对应的ANTLR编译产物，直接在命令行执行grun Java compilationUnit -gui < 待解析的Java文件路径，就可以直接弹出GUI窗口展示结构化的AST图形。
• 方案二：Python环境内直接生成可视化图片
  先在本地安装graphviz运行时（各系统都有官方安装包），再安装Python依赖：pip install graphviz，然后通过遍历AST节点生成DOT格式的图形描述，最终渲染为图片，示例代码如下：

  import antlr4
  from graphviz import Digraph
  
  node_cnt = 0
  def build_ast_dot(node, parent_id, dot_obj, parser):
      global node_cnt
      cur_id = str(node_cnt)
      node_cnt += 1
      # 区分终端节点（代码字面量、符号等）和规则节点（语法规则名）设置展示文本
      if isinstance(node, antlr4.tree.Tree.TerminalNode):
          node_label = node.getText()
      else:
          node_label = parser.ruleNames[node.getRuleIndex()]
      dot_obj.node(cur_id, node_label)
      if parent_id is not None:
          dot_obj.edge(parent_id, cur_id)
      # 递归遍历所有子节点
      for i in range(node.getChildCount()):
          build_ast_dot(node.getChild(i), cur_id, dot_obj, parser)
  
  # 调用示例，在你原有逻辑中拿到parser和tree后执行
  dot = Digraph()
  build_ast_dot(tree, None, dot, parser)
  dot.render("java_ast", format="png") # 执行后会在当前目录生成java_ast.png的AST可视化图
  

2. 语法错误定位与追踪方案 #

你原来用到的_syntaxErrors只是错误计数，要拿到具体错误的位置和详情，只需要自定义ANTLR的错误监听器即可，实现方式如下：

1. 首先定义自定义错误监听器，继承ANTLR的基础错误监听器，重写syntaxError方法收集错误详情：

from antlr4.error.ErrorListener import ErrorListener

class JavaSyntaxErrorListener(ErrorListener):
    def __init__(self):
        super().__init__()
        self.error_list = []
    
    def syntaxError(self, recognizer, offendingSymbol, line, column, msg, exception):
        # 收集错误的行号、列号、触发错误的代码片段、错误描述
        self.error_list.append({
            "line": line,
            "column": column,
            "error_code": offendingSymbol.text if offendingSymbol else "",
            "error_msg": msg
        })

2. 修改你原有的解析逻辑，替换默认的错误监听器：

def ASTconversion(file_path):
    code = open(file_path, 'r').read()
    lexer = JavaLexer(antlr4.InputStream(code))
    stream = antlr4.CommonTokenStream(lexer)
    parser = JavaParser(stream)
    # 移除默认的控制台输出监听器，添加自定义监听器
    parser.removeErrorListeners()
    error_listener = JavaSyntaxErrorListener()
    parser.addErrorListener(error_listener)
    tree = parser.compilationUnit()
    # 返回AST字符串和错误列表，错误列表为空代表无语法错误，不为空时每一项对应一个具体的语法错误详情
    return tree.toStringTree(recog=parser), error_listener.error_list

调用该方法后，返回的错误列表中每个条目都包含错误对应的行号、列号、错误原因，你可以直接根据这些信息定位到原Java代码的对应位置。

内容的提问来源于stack exchange，提问作者Isuru Alagiyawanna