如何安全并行处理ZipArchive中的条目？

你的方案可行性 #

你的方案完全可行。因为每个并行任务都会创建独立的ZipArchive实例，各自操作对应的条目，完全规避了共享非线程安全对象的风险，非常适合只读场景。

具体实现代码 #

方式1：基于条目名称的并行遍历 #

先在主线程安全收集所有条目的完整名称，再并行处理每个条目：

// 主线程先获取所有条目名称，避免线程安全问题
var entryNames = ZipFile.OpenRead(zipFileName).Entries.Select(e => e.FullName).ToList();

// 并行遍历每个条目名称，每个线程独立打开压缩包
Parallel.ForEach(entryNames, entryName =>
{
    using (var threadArchive = ZipFile.OpenRead(zipFileName))
    {
        var entry = threadArchive.GetEntry(entryName);
        if (entry == null) return; // 防御性判断，避免条目不存在的情况

        using (var sr = new StreamReader(entry.Open()))
        {
            string content = sr.ReadToEnd();
            // 在这里处理content
        }
    }
});

方式2：基于Partitioner的范围分区 #

如果条目数量极大，用Partitioner做范围分区可以减少线程创建开销：

using (var mainArchive = ZipFile.OpenRead(zipFileName))
{
    // 主线程先把条目列表缓存下来
    var entries = mainArchive.Entries.ToList();
    // 创建范围分区器，拆分条目索引范围
    var partitioner = Partitioner.Create(0, entries.Count);

    Parallel.ForEach(partitioner, range =>
    {
        using (var threadArchive = ZipFile.OpenRead(zipFileName))
        {
            // 处理当前分区内的所有条目
            for (int i = range.Item1; i < range.Item2; i++)
            {
                var targetEntry = threadArchive.GetEntry(entries[i].FullName);
                if (targetEntry == null) continue;

                using (var sr = new StreamReader(targetEntry.Open()))
                {
                    string content = sr.ReadToEnd();
                    // 在这里处理content
                }
            }
        }
    });
}

注意事项 #

• 只读模式下，系统允许同时打开多个压缩包文件句柄，但如果条目数量极多，建议通过ParallelOptions控制并发数（比如new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount }），避免资源耗尽。
• 若单个条目内容极小，并行的线程调度开销可能超过收益，这种情况建议保持串行处理。

其他可靠并行处理方法 #

1. 临时解压后并行处理
   先将所有条目解压到临时目录，再并行处理解压后的文件。这种方式完全没有线程安全问题，适合后续需要多次访问文件内容的场景，但会占用额外磁盘空间：

   // 先串行解压到临时目录
   string tempDir = Path.Combine(Path.GetTempPath(), Guid.NewGuid().ToString());
   ZipFile.ExtractToDirectory(zipFileName, tempDir);
   
   // 并行处理所有解压后的文件
   Parallel.ForEach(Directory.GetFiles(tempDir, "*", SearchOption.AllDirectories), filePath =>
   {
       string content = File.ReadAllText(filePath);
       // 在这里处理content
   });
   
   // 处理完成后清理临时目录
   Directory.Delete(tempDir, recursive: true);
   

2. 使用第三方压缩库
   比如SharpZipLib（活跃维护的开源库），部分API支持更高效的并行读取，且线程安全处理更完善。

3. 手动任务并行（Task.WhenAll）
   若需要异步场景，可手动创建任务并等待全部完成，灵活控制并发：

   var entryNames = ZipFile.OpenRead(zipFileName).Entries.Select(e => e.FullName).ToList();
   var tasks = entryNames.Select(entryName => Task.Run(() =>
   {
       using (var archive = ZipFile.OpenRead(zipFileName))
       {
           var entry = archive.GetEntry(entryName);
           if (entry == null) return;
           using (var sr = new StreamReader(entry.Open()))
           {
               string content = sr.ReadToEnd();
               // 在这里处理content
           }
       }
   })).ToArray();
   
   await Task.WhenAll(tasks);
   

内容的提问来源于stack exchange，提问作者Tecman