如何将Java串行读取多文件逻辑改为使用Threads并行实现

核心思路是将单个文件的读取逻辑封装为完全独立的线程任务，用线程池统一调度执行，避免手动管理线程的混乱问题，从设计上规避线程安全风险。

你之前适配多线程报错的常见原因 #

• 直接把循环中可变的fileIndex变量传入线程任务，Java的lambda/匿名类要求捕获的变量是有效final的，否则会编译报错或者运行时拿到错误的索引值
• 多个线程共享了同一个StringBuilder、BufferedReader等非线程安全的对象，导致数据错乱或IO异常
• 任务内没有独立处理异常、资源关闭逻辑，导致异常抛到线程层面直接终止运行

完整实现代码 #

import java.io.BufferedReader;
import java.io.FileReader;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.*;

public class ParallelFileReader {
    public static void main(String[] args) throws InterruptedException, ExecutionException {
        int numberOfFiles = 10; // 替换为实际的文件总数
        // IO密集型场景线程池大小建议设为CPU核心数*2~4，可根据实际运行效果调整
        ExecutorService executor = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors() * 2);
        List<Future<String>> resultFutures = new ArrayList<>();

        for (int fileIndex = 0; fileIndex < numberOfFiles; fileIndex++) {
            // 赋值给final变量供任务捕获，避免闭包问题
            final int currentIndex = fileIndex;
            // 提交读取任务，Callable支持返回读取到的JSON内容
            Future<String> future = executor.submit(() -> {
                BufferedReader br = new BufferedReader(new FileReader("Files/file" + currentIndex + ".json"));
                try {
                    StringBuilder sb = new StringBuilder();
                    String line = br.readLine();
                    while (line != null) {
                        sb.append(line);
                        sb.append(System.lineSeparator());
                        line = br.readLine();
                    }
                    return sb.toString();
                } finally {
                    br.close();
                }
            });
            resultFutures.add(future);
        }

        // 按文件索引顺序获取读取结果
        for (int i = 0; i < resultFutures.size(); i++) {
            String contentJSON = resultFutures.get(i).get();
            // 此处可添加你对JSON内容的后续处理逻辑
            System.out.println("文件" + i + "读取完成，内容长度：" + contentJSON.length());
        }

        // 用完关闭线程池释放资源
        executor.shutdown();
    }
}

优化提示 #

• JDK11及以上版本可以直接用NIO的Files.readString简化读取逻辑，替换掉BufferedReader的手动循环代码，写法更简洁：return Files.readString(Path.of("Files/file" + currentIndex + ".json"), StandardCharsets.UTF_8);
• 如果存在文件不存在、读取权限不足等异常场景，可以在Callable内部加try-catch捕获异常，返回空值或者错误标记，避免单个文件读取失败打断整个流程

内容的提问来源于stack exchange，提问作者Questioner