C#读取数百万小文件：性能衰减原因及最优读取方案咨询

首先咱们来拆解你遇到的速度越来越慢的核心原因，再给出针对性的优化方案：

一、为什么越跑越慢？ #

• 并行度过高，IO资源严重竞争：你设置了MaxDegreeOfParallelism = 100，但文件读取是IO密集型任务——磁盘的IOPS（每秒读写次数）是有限的：机械硬盘一般只有几百IOPS，SSD也就几千到几万。100个线程同时抢磁盘资源，大部分时间都在等待，反而会因为线程上下文切换消耗大量CPU，拖慢整体速度。
• 线程不安全的集合操作：你的filesTxt.Add(tmp)（应该是txt吧？）如果用的是普通List<string>，它完全不是线程安全的。多个线程同时执行Add会触发内部锁机制，甚至导致数据损坏，这种同步冲突会随着线程数增加越来越严重，成为性能瓶颈。
• 系统缓存耗尽：读取数千个文件后，系统的文件缓存被占满，后续读取只能从磁盘物理读取，速度直接降到缓存读取的几十分之一。
• 手动线程管理低效：第二个方案里用Process.GetCurrentProcess().Threads.Count判断线程数，这个数值包含了进程内所有线程（比如UI线程、系统线程），根本不准确。加上Thread.Sleep(100)和Application.DoEvents()，会导致线程调度混乱，额外增加延迟。

二、读取并合并数百万小文件的最快方案 #

针对IO密集型的小文件处理，核心思路是合理控制并行度、减少内存占用、避免同步冲突、利用异步IO：

1. 精准控制并行度 #

IO密集型任务的最优并行度远低于CPU密集型，建议设置为Environment.ProcessorCount * 2（比如8核CPU就设16），或者根据磁盘性能调整——机械硬盘可以再低一些（比如8），SSD可以适当提高（比如20）。示例：

Parallel.ForEach(files, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount * 2 }, file =>
{
    ProcessSingleFile(file);
});

2. 避免内存堆积，直接写入合并文件 #

不要把所有文件内容都放到内存集合里，读取一个就写入一个，减少内存占用和同步开销。注意写入操作要加锁保证线程安全：

private static readonly object _writeLock = new object();
private static void ProcessSingleFile(string file)
{
    try
    {
        string content = File.ReadAllText(file);
        lock (_writeLock)
        {
            File.AppendAllText("merged.txt", content);
        }
    }
    catch (Exception ex)
    {
        // 记录错误，不要吞掉异常
        Console.WriteLine($"处理文件{file}失败：{ex.Message}");
    }
}

3. 用异步IO替代同步IO（更高效的资源利用） #

异步IO不会占用线程等待磁盘响应，能更高效利用CPU资源。可以结合SemaphoreSlim控制并发数，避免异步任务过多：

var semaphore = new SemaphoreSlim(Environment.ProcessorCount * 2);
var tasks = files.Select(async file =>
{
    await semaphore.WaitAsync();
    try
    {
        string content = await File.ReadAllTextAsync(file);
        lock (_writeLock)
        {
            await File.AppendAllTextAsync("merged.txt", content);
        }
    }
    catch (Exception ex)
    {
        Console.WriteLine($"处理文件{file}失败：{ex.Message}");
    }
    finally
    {
        semaphore.Release();
    }
});
await Task.WhenAll(tasks);

4. 其他优化细节 #

• 按目录批量处理：如果文件分布在多个目录，先按目录分组处理，减少目录枚举的开销。
• 使用更快的读取方式：对于极小文件，File.ReadAllBytes比ReadAllText略快，读取后再转字符串。
• 减少磁盘竞争：合并期间关闭其他占用磁盘的程序（比如杀毒软件、备份工具）。
• 不要吞掉异常：空catch会隐藏文件权限、文件被占用等问题，这些问题可能让你误以为是速度慢，实际上是部分文件处理失败。

内容的提问来源于stack exchange，提问作者Sina