Java-Cucumber项目中能否使用Python代码实现xlsx文件转换

这个实现思路完全可行，相比纯Java实现大体积分隔符文件转xlsx，Python生态有成熟的分块读写、大文件优化方案，开发成本低、转换效率高，只要做好环境兼容、进程调用的异常处理，完全可以嵌入cucumber-java流程使用。
要注意一个硬限制：Excel单sheet最大支持1048576行数据，转换时如果源文件超过这个行数，必须自动拆分sheet，否则生成的文件会损坏。

1. 编写Python转换脚本 #

脚本只做纯格式转换，不掺杂业务逻辑，采用分块读+只写模式写xlsx的方案，内存占用稳定，支持GB级大文件转换，不会出现OOM问题。
首先安装依赖，固定依赖版本避免跨环境兼容问题：
pip install pandas==2.2.2 openpyxl==3.1.5

新建脚本文件delimiter2xlsx.py，代码如下：

import pandas as pd
import argparse
from openpyxl import Workbook

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--input", required=True, help="源分隔符文件路径")
    parser.add_argument("--sep", required=True, help="文件分隔符，csv传','，tsv传'\\t'")
    parser.add_argument("--output", required=True, help="生成xlsx的保存路径")
    parser.add_argument("--chunksize", type=int, default=100000, help="单次读入内存的行数，默认10万行")
    args = parser.parse_args()

    # 启用openpyxl只写模式，大幅降低大文件写入的内存占用
    wb = Workbook(write_only=True)
    current_ws = wb.create_sheet(title="Sheet1")
    current_sheet_rows = 0
    sheet_num = 1

    # 分块读取源文件，不会一次性把全量数据加载到内存
    for chunk in pd.read_csv(args.input, sep=args.sep, chunksize=args.chunksize, dtype=str):
        # 第一块数据写入前先加表头
        if current_sheet_rows == 0:
            current_ws.append(list(chunk.columns))
            current_sheet_rows += 1

        for row in chunk.values.tolist():
            # 触达单sheet行数上限时自动新建sheet
            if current_sheet_rows >= 1048576:
                sheet_num += 1
                current_ws = wb.create_sheet(title=f"Sheet{sheet_num}")
                current_ws.append(list(chunk.columns))
                current_sheet_rows = 1
            current_ws.append(row)
            current_sheet_rows += 1

        print(f"已处理{current_sheet_rows}行数据")

    wb.save(args.output)
    print(f"文件转换完成，已保存至{args.output}")

脚本全字段默认按字符串读取，避免长数字、编码类字段被自动转成科学计数法或者格式错乱。

2. cucumber-java侧集成调用 #

推荐在项目内搭建独立的Python虚拟环境，不要依赖机器全局Python环境，避免不同设备的环境差异导致脚本运行失败。如果不想要求所有使用者安装Python环境，可以用pyinstaller把上述脚本打包成对应操作系统的可执行文件，Java直接调用可执行文件即可。
写一个通用的文件转换工具类，用ProcessBuilder调用脚本，注意合并错误流避免进程阻塞：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

public class Delimiter2XlsxUtil {
    // 对应你环境的Python解释器路径，或打包后的可执行文件路径
    private static final String PY_EXECUTOR = "py-venv/bin/python";
    private static final String CONVERT_SCRIPT_PATH = "scripts/delimiter2xlsx.py";

    public static void convert(String inputPath, String delimiter, String outputPath) throws IOException, InterruptedException {
        ProcessBuilder processBuilder = new ProcessBuilder(
                PY_EXECUTOR,
                CONVERT_SCRIPT_PATH,
                "--input", inputPath,
                "--sep", delimiter,
                "--output", outputPath
        );
        // 合并错误流到标准输出，防止缓冲区满导致进程卡死
        processBuilder.redirectErrorStream(true);
        Process process = processBuilder.start();

        // 读取脚本运行日志，方便排查问题
        try (BufferedReader br = new BufferedReader(new InputStreamReader(process.getInputStream()))) {
            String logLine;
            while ((logLine = br.readLine()) != null) {
                System.out.println("[xlsx-convert] " + logLine);
            }
        }

        int exitCode = process.waitFor();
        if (exitCode != 0) {
            throw new RuntimeException("分隔符文件转xlsx失败，脚本退出码：" + exitCode);
        }
    }
}

后续在cucumber的step定义里，在需要使用xlsx文件的流程前直接调用这个工具类的convert方法，等方法正常返回后，生成的xlsx文件就可以被后续Java流程正常读取使用。

3. 优化建议 #

• 可以在项目根目录放requirements.txt文件，写入固定版本的依赖，新环境拉取代码后执行pip install -r requirements.txt就能一键安装Python侧依赖。
• 如果转换的文件普遍超过5G，可以适当调大chunksize参数到20万-50万，减少IO次数提升转换速度，根据运行机器的内存调整即可。
• 不要在Python脚本里加业务校验、数据清洗逻辑，这类逻辑统一放在Java侧处理，保证脚本职责单一，出问题时排查链路清晰。

内容的提问来源于stack exchange，提问作者user13987365