如何在Java中读取Python文件、生成并修改AST后写回文件

一、解决Jython调用ast.parse参数不匹配的问题 #

你遇到的参数不匹配错误，核心原因是Jython对Python标准库ast的方法重载映射有严格要求，Python的ast.parse默认参数在Jython中需要显式传入，且必须转换为PyObject类型。

正确的Jython调用示例 #

import org.python.core.Py;
import org.python.core.PyObject;
import org.python.util.PythonInterpreter;

public class PythonAstRetriever {
    public static void main(String[] args) {
        try (PythonInterpreter interpreter = new PythonInterpreter()) {
            // 加载Python的ast模块
            interpreter.exec("import ast");
            PyObject astModule = interpreter.get("ast");
            
            // 读取目标Python文件内容（此处为示例代码）
            String pythonCode = "def calculate_sum(a, b):\n    '''计算两数之和'''\n    return a + b";
            
            // 严格匹配ast.parse的参数：源码、文件名、模式，全部转为PyObject类型
            PyObject astTree = astModule.invoke("parse", 
                Py.newString(pythonCode), 
                Py.newString("<target.py>"), 
                Py.newString("exec")
            );
            
            // 示例：遍历AST获取函数定义
            interpreter.set("tree", astTree);
            interpreter.exec("for node in ast.walk(tree):\n    if isinstance(node, ast.FunctionDef):\n        print(f'找到函数: {node.name}')");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

注意：Jython的invoke方法不支持Python的默认参数省略，必须显式传入所有参数，且Java原生类型要转为PyObject（比如用Py.newString()处理字符串）。

二、更适合代码修改需求的LibCST方案 #

你的需求是修改文档字符串、注释并保留原代码格式，Python标准AST会丢弃空格、注释等格式信息，而LibCST能完整保留这些细节，在Java中可以通过以下两种方式调用：

1. 通过进程调用Python脚本（最稳定） #

直接在Java中启动Python进程，调用预先编写的LibCST处理脚本，通过标准输入输出传递代码：

步骤1：编写LibCST处理脚本（python_code_modifier.py）

import sys
import libcst

def modify_docstrings(source_code):
    # 解析为保留格式的CST
    tree = libcst.parse_module(source_code)
    
    # 自定义转换器：修改函数文档字符串
    class DocstringUpdater(libcst.CSTTransformer):
        def visit_FunctionDef(self, node):
            # 替换原有文档字符串，保留函数其他结构
            new_doc = libcst.SimpleString('"""[自动生成] 该函数用于计算两数之和，参数a、b为数值类型"""')
            updated_body = [new_doc] + node.body
            return node.with_changes(body=updated_body)
    
    # 应用修改并生成代码
    modified_tree = tree.visit(DocstringUpdater())
    return modified_tree.code

if __name__ == "__main__":
    # 从标准输入读取原代码，输出修改后的代码
    original_code = sys.stdin.read()
    print(modify_docstrings(original_code))

步骤2：Java中调用该脚本

import java.io.*;
import java.nio.charset.StandardCharsets;

public class LibCSTWrapper {
    public static String modifyPythonCode(String originalCode) throws IOException, InterruptedException {
        ProcessBuilder pb = new ProcessBuilder("python3", "python_code_modifier.py");
        pb.redirectErrorStream(true);
        Process process = pb.start();
        
        // 向Python进程写入原代码
        try (OutputStreamWriter writer = new OutputStreamWriter(process.getOutputStream(), StandardCharsets.UTF_8)) {
            writer.write(originalCode);
            writer.flush();
        }
        
        // 读取修改后的代码
        StringBuilder result = new StringBuilder();
        try (BufferedReader reader = new BufferedReader(new InputStreamReader(process.getInputStream(), StandardCharsets.UTF_8))) {
            String line;
            while ((line = reader.readLine()) != null) {
                result.append(line).append("\n");
            }
        }
        
        process.waitFor();
        return result.toString().trim();
    }
    
    public static void main(String[] args) throws IOException, InterruptedException {
        String originalCode = "def calculate_sum(a, b):\n    '''计算两数之和'''\n    return a + b";
        String modifiedCode = modifyPythonCode(originalCode);
        System.out.println(modifiedCode);
    }
}

2. Jython直接调用LibCST（兼容性需验证） #

若必须用Jython，先通过jython -m pip install libcst安装依赖，再参照调用ast模块的方式调用LibCST，但需注意LibCST对Python版本的要求，Jython的兼容性可能不如进程调用稳定。

三、代码修改机器人的实践建议 #

• 分层定位：通过AST/CST的节点类型（如FunctionDef对应函数、Expr对应文档字符串）精准定位需要修改的模块化组件
• 测试生成：解析函数的参数、返回值后，用模板生成unittest/pytest风格的测试用例
• 格式选择：无需保留格式时用标准AST；需要保留原代码缩进、注释位置时，必须使用LibCST这类CST工具

内容的提问来源于stack exchange，提问作者a.t.