多线程模式下读取大量文件的性能优化与线程调度问题

嘿，这个场景我太熟了——处理大量文件的多线程任务，核心就是搞定线程数和任务分配这俩事儿，咱们一步步来捋：

首先得明确：文件读取属于IO密集型任务，和CPU密集型任务的线程数策略完全不一样——CPU密集型任务线程数通常等于CPU核心数，而IO密集型任务可以多开一些线程，利用等待IO的时间去处理其他任务。

给你几个实用的参考：

• 先拿基础值：用Runtime.getRuntime().availableProcessors()获取你的CPU核心数，IO密集型任务的经验值是 核心数 × 2 到 核心数 × 4。
• 根据存储介质调整：
  • 如果是SSD（固态硬盘），随机IO性能强，可以调到核心数×4~6；
  • 如果是机械硬盘，别太激进，最多核心数×3就行——机械硬盘的寻道速度慢，太多线程同时读会导致磁盘频繁切换读写位置，反而拖慢整体速度。
• 实测最优值：最好拿1000条左右的文件路径做个小测试，分别开4、8、16线程跑，看哪个速度最快，毕竟不同机器的存储性能差异挺大的，实测比硬套公式靠谱。

这里给你两种实践中最常用、最靠谱的方案，完全不用自己手动加复杂锁：

方案1：用线程安全队列做任务分发 #

把所有文件路径放到一个线程安全的队列里，每个线程从队列里取任务，直到队列为空——队列的poll()方法是线程安全的，一个文件路径只会被一个线程取走，天然不会重复。

示例代码大概是这样：

// 把你的ArrayList转成线程安全队列
Queue<String> fileQueue = new ConcurrentLinkedQueue<>(yourFilePathList);

// 定义线程要执行的任务
Runnable fileProcessTask = () -> {
    String filePath;
    // 循环取任务，直到队列空了为止
    while ((filePath = fileQueue.poll()) != null) {
        // 这里写你的读取文件、写入DTO逻辑
        readFileAndConvertToDTO(filePath);
    }
};

// 启动线程池
int threadCount = Runtime.getRuntime().availableProcessors() * 2;
ExecutorService executor = Executors.newFixedThreadPool(threadCount);
for (int i = 0; i < threadCount; i++) {
    executor.submit(fileProcessTask);
}

// 等待所有任务完成
executor.shutdown();
try {
    executor.awaitTermination(1, TimeUnit.HOURS); // 可以根据实际情况调整超时时间
} catch (InterruptedException e) {
    Thread.currentThread().interrupt();
}

方案2：提前分片，给每个线程分配固定任务范围 #

把2万条文件路径直接分成N份（N是你设置的线程数），每个线程只处理自己那一份，完全没有任务竞争，性能也很稳定。

示例代码：

int threadCount = Runtime.getRuntime().availableProcessors() * 2;
int batchSize = yourFilePathList.size() / threadCount;
ExecutorService executor = Executors.newFixedThreadPool(threadCount);

for (int i = 0; i < threadCount; i++) {
    // 计算每个线程要处理的文件范围
    int startIndex = i * batchSize;
    // 最后一个线程要处理剩下的所有文件，避免丢数据
    int endIndex = (i == threadCount - 1) ? yourFilePathList.size() : (i + 1) * batchSize;
    List<String> assignedFiles = yourFilePathList.subList(startIndex, endIndex);
    
    executor.submit(() -> {
        for (String filePath : assignedFiles) {
            readFileAndConvertToDTO(filePath);
        }
    });
}

executor.shutdown();
try {
    executor.awaitTermination(1, TimeUnit.HOURS);
} catch (InterruptedException e) {
    Thread.currentThread().interrupt();
}

• 如果文件大小差异很大，可以用优先级队列把大文件优先分配出去，避免最后剩下几个大文件拖慢整体进度；
• 尽量用NIO的Files.readAllBytes()或Files.lines()代替传统IO流，多线程下NIO的性能表现更好；
• 如果处理完DTO后需要统一收集结果，建议每个线程自己维护一个本地集合，最后再合并，比用全局线程安全集合（比如CopyOnWriteArrayList）的性能更高。

内容的提问来源于stack exchange，提问作者All_Safe