如何避免创建超出硬件线程数的线程？C#日志处理优化

你的代码中，每个文件都通过new Task(() => ...).Start()创建并启动任务，这种方式会导致线程池不断扩容，最终创建大量线程（远超硬件线程数）。对于CPU密集型的ParsingFile操作，过多线程会引发频繁的上下文切换，反而降低处理效率。下面提供两种高效的解决方案：

方案一：使用Parallel.ForEachAsync（推荐，.NET 6+） #

Parallel类原生支持控制最大并行度，会自动优化线程使用，避免超过硬件线程数，适合CPU密集型任务：

public async Task LogProcessing(DescriptorList files, CancellationToken ct)
{
    var parallelOptions = new ParallelOptions
    {
        // 限制并行数为硬件线程数，可根据实际情况微调
        MaxDegreeOfParallelism = Environment.ProcessorCount,
        CancellationToken = ct
    };

    await Parallel.ForEachAsync(files, parallelOptions, async (file, token) =>
    {
        // 如果ParsingFile是同步方法，直接调用；异步则用await
        ParsingFile(file, token);
        // 若ParsingFile是异步：await ParsingFileAsync(file, token);
    });
}

如果使用.NET 5及以下版本，可以用同步版的Parallel.ForEach：

public void LogProcessing(DescriptorList files, CancellationToken ct)
{
    var parallelOptions = new ParallelOptions
    {
        MaxDegreeOfParallelism = Environment.ProcessorCount,
        CancellationToken = ct
    };

    Parallel.ForEach(files, parallelOptions, file =>
    {
        ParsingFile(file, ct);
    });
}

方案二：使用SemaphoreSlim手动控制并发 #

如果需要更灵活的并发控制（比如混合IO/CPU密集型任务），可以用信号量限制同时运行的任务数：

public async Task LogProcessing(DescriptorList files, CancellationToken ct)
{
    int maxConcurrentTasks = Environment.ProcessorCount;
    using var semaphore = new SemaphoreSlim(maxConcurrentTasks, maxConcurrentTasks);
    var tasks = new List<Task>();

    foreach (var file in files)
    {
        await semaphore.WaitAsync(ct);
        tasks.Add(Task.Run(() =>
        {
            try
            {
                ParsingFile(file, ct);
            }
            finally
            {
                semaphore.Release();
            }
        }, ct));
    }

    await Task.WhenAll(tasks);
}

关键说明 #

• 原代码问题：new Task().Start()会向线程池提交任务，当任务数量远大于硬件线程数时，线程池会按照默认策略不断扩容线程（初始为硬件线程数，之后每500ms新增一个线程），最终导致线程数远超预期。
• CPU密集型任务的最优并发数通常等于硬件线程数，此时CPU利用率最高，上下文切换开销最小。

内容的提问来源于stack exchange，提问作者Victor