使用Parallel.ForEach遍历文件时部分文件丢失/被跳过问题排查

问题根源：线程安全缺失 #

• UI控件非线程安全：文本框这类UI控件只能在创建它的主线程操作，Parallel.ForEach的多线程直接写入会引发线程冲突，部分写入操作被覆盖或丢弃，表现为文件记录丢失。
• 集合操作线程不安全：如果用普通List<string>这类非线程安全集合暂存结果，多线程同时添加元素会导致元素丢失、集合损坏，最终写入文本框的内容自然不全。

常见错误代码示例（对应问题场景） #

var files = Directory.GetFiles(targetFolder, "*.jpg", SearchOption.AllDirectories);
Parallel.ForEach(files, file =>
{
    string crcValue = ComputeCRC32(file);
    // 直接在多线程中操作UI，或往非线程安全集合添加内容
    resultTextBox.Text += $"{file}: {crcValue}\r\n";
});

修复方案 #

1. 用线程安全集合暂存结果，统一更新UI #

先将所有计算结果存入线程安全的ConcurrentBag<string>，并行计算完成后再一次性更新文本框（确保在UI线程操作）：

var files = Directory.GetFiles(targetFolder, "*.jpg", SearchOption.AllDirectories);
var resultBag = new ConcurrentBag<string>();

Parallel.ForEach(files, file =>
{
    string crcValue = ComputeCRC32(file);
    resultBag.Add($"{file}: {crcValue}");
});

// 统一更新UI，判断是否需要跨线程调用
if (resultTextBox.InvokeRequired)
{
    resultTextBox.Invoke(new Action(() =>
    {
        resultTextBox.Text = string.Join("\r\n", resultBag);
    }));
}
else
{
    resultTextBox.Text = string.Join("\r\n", resultBag);
}

2. 合理限制并行度（可选优化） #

过度并行可能引发磁盘IO瓶颈，可根据CPU核心数限制并行线程数量：

Parallel.ForEach(files, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount * 2 }, file =>
{
    string crcValue = ComputeCRC32(file);
    resultBag.Add($"{file}: {crcValue}");
});

3. 确保CRC计算方法线程安全 #

检查ComputeCRC32方法，避免使用静态变量或未同步的共享资源，保证每个线程的计算逻辑独立，比如每个文件单独创建Stream对象，不共用全局流。

内容的提问来源于stack exchange，提问作者Sinke