Java多线程并发场景下使用BufferedReader/InputStream读取进程输出的问题
问题核心原因
- 未等待外部进程执行完成就向下执行逻辑:
Runtime.exec()启动进程后会立即返回,不会阻塞等待进程运行结束。你读取InputStream时可能目标进程还没输出对应行,甚至还没完成启动,就会导致summary始终是空字符串,写入的文件自然为空。后续执行tar、移动文件命令也是同理,tar命令还没生成完整的压缩包,移动命令就已经执行,自然会出现文件不存在、移动不完整的问题。 - 未消费进程的错误流:外部进程运行时的报错信息会输出到ErrorStream,如果你只读取InputStream不处理ErrorStream,缓冲区写满后进程会直接阻塞挂起,永远不会输出你需要的目标行。
- 多线程资源冲突:如果多个异步线程使用了相同的文件名、操作目录,会出现文件覆盖、资源抢占的问题,比如A线程正在写入文件,B线程同时打开同一个文件写入,或者A线程还没完成tar文件移动,B线程就把同名tar包覆盖了。
- IO资源未安全释放:BufferedReader、PrintWriter这类IO资源没有用自动释放机制,遇到异常时可能无法正常关闭,导致文件句柄泄漏、内容没有刷入磁盘。
修复方案
- 所有外部进程执行都要等待运行完成,同时合并错误流避免阻塞
给每个启动的Process加waitFor()方法等待执行结束,优先用ProcessBuilder替代Runtime.exec,支持直接把错误流合并到输入流,不需要单独开线程消费错误流。 - 用传入的jobID隔离所有操作资源
每个异步任务的临时文件、输出txt、tar包都用jobIDString作为命名前缀,或者给每个任务建单独的子目录,完全隔离不同线程的操作路径,彻底避免资源冲突。 - 用try-with-resources自动管理IO资源
保证所有流、文件写入对象不管是否触发异常都能正常关闭,内容自动刷入磁盘。 - 增加执行结果校验
每一步执行后都校验进程退出码、文件是否存在,出现异常直接终止逻辑打印错误信息,避免脏数据。
修复后示例代码
@Async public void runTaskAsync(String jobIDString) { // 所有资源用jobID隔离,避免多线程冲突 String summaryFileName = jobIDString + "_summary.txt"; String sourceFolder = "./tmp/" + jobIDString + "/"; String tarFileName = jobIDString + "_output.tar"; String targetTarPath = "/target/folder/" + tarFileName; try { // 用ProcessBuilder配置进程,合并错误流避免进程阻塞 ProcessBuilder gradlewPb = new ProcessBuilder("你的gradlew命令按空格拆分后填到这里".split(" ")); gradlewPb.redirectErrorStream(true); Process gradlewProcess = gradlewPb.start(); String summary = ""; // try-with-resources自动关闭BufferedReader try (BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(gradlewProcess.getInputStream()))) { String line; while ((line = bufferedReader.readLine()) != null) { if(/* 匹配目标行的条件 */) { summary = line; // 不要匹配到就break,要读完所有流内容,避免缓冲区满导致进程阻塞 } } } // 等待进程执行完成,校验退出码 int exitCode = gradlewProcess.waitFor(); if (exitCode != 0) { // 进程执行失败,自行加日志处理逻辑 return; } // 写入summary文件 if (!summary.isBlank()) { try (PrintWriter summaryWriter = new PrintWriter(summaryFileName)) { summaryWriter.println(summary); } } // 执行tar打包,等待执行完成 ProcessBuilder tarPb = new ProcessBuilder("tar", "-cf", tarFileName, sourceFolder); Process tarProcess = tarPb.start(); int tarExitCode = tarProcess.waitFor(); if (tarExitCode != 0 || !new File(tarFileName).exists()) { // tar打包失败处理逻辑 return; } // 直接用Java自带的Files.move移动文件,比调用系统mv命令更可靠 Files.move(Paths.get(tarFileName), Paths.get(targetTarPath), StandardCopyOption.REPLACE_EXISTING); } catch (IOException | InterruptedException e) { // 异常日志打印逻辑 Thread.currentThread().interrupt(); // 中断异常要重置中断标记 } }
额外优化建议
- 自定义@Async对应的线程池,配置合理的最大线程数,避免并发过高导致系统IO负载被打满。
- 增加临时目录定时清理逻辑,避免运行时间长后磁盘空间被临时文件占满。
内容的提问来源于stack exchange,提问作者ADKR
相关产品推荐
相关产品推荐

