.Net中多流长期写入单归档文件的实现方案问询

针对你需要长时间向同一归档文件陆续写入多个条目、避免生成中间磁盘文件的需求，以下是几个可行的替代方案：

方案1：使用SharpZipLib库 #

SharpZipLib是.NET生态中成熟的压缩归档库，支持保持归档文件持续打开，逐个写入条目（无需一次性创建所有内容），完全适配4-6小时的长时间写入场景。

代码示例 #

using ICSharpCode.SharpZipLib.Zip;
using System.Text;

// 初始化并保持归档文件处于打开状态
using var zipFile = new ZipFile("long_run_archive.zip");
zipFile.BeginUpdate();

// 模拟长时间陆续写入条目（示例为每小时一条）
for (int entryIndex = 0; entryIndex < 6; entryIndex++)
{
    // 创建新的归档条目
    var entry = new ZipEntry($"record_{entryIndex}.log");
    zipFile.Add(entry);

    // 获取该条目的写入流，写入内容
    using var entryStream = zipFile.GetOutputStream(entry);
    var contentBytes = Encoding.UTF8.GetBytes($"Record {entryIndex} created at {DateTime.Now:yyyy-MM-dd HH:mm:ss}\r\n");
    entryStream.Write(contentBytes, 0, contentBytes.Length);
    
    // 关闭条目流（内容会写入归档，但zipFile仍保持打开）
    entryStream.Close();

    // 模拟1小时间隔（实际场景替换为业务逻辑等待）
    System.Threading.Thread.Sleep(TimeSpan.FromHours(1));
}

// 所有条目写入完成后，提交更新并关闭归档
zipFile.CommitUpdate();
zipFile.Close();

特点 #

• 支持保持归档打开状态，逐条写入内容
• 可配置压缩级别，平衡CPU占用与压缩率
• 无需生成中间磁盘文件，直接写入归档条目

方案2：使用DotNetZip（Ionic.Zip）库 #

DotNetZip（现命名为Ionic.Zip）提供更简洁的API，同样支持持续打开归档并追加条目，适合快速实现需求。

代码示例 #

using Ionic.Zip;
using System.Text;

// 创建并保持归档文件打开
using var zipArchive = new ZipFile("continuous_archive.zip");
// 禁用并行压缩，避免长时间运行时CPU占用过高
zipArchive.ParallelDeflateThreshold = -1;

// 模拟长时间写入流程
for (int entryIndex = 0; entryIndex < 6; entryIndex++)
{
    // 添加新条目并直接获取写入流
    using var entryWriter = zipArchive.AddEntry($"data_{entryIndex}.bin").OpenWriter();
    var content = Encoding.UTF8.GetBytes($"Data block {entryIndex} - {DateTime.UtcNow}\r\n");
    entryWriter.Write(content, 0, content.Length);
    
    // 关闭条目写入流，内容即时写入归档
    entryWriter.Close();

    // 模拟业务间隔
    System.Threading.Thread.Sleep(TimeSpan.FromHours(1));
}

// 最终保存并关闭归档
zipArchive.Save();

特点 #

• API简洁，无需手动管理更新批次
• 支持条目级别的压缩配置
• 兼容.NET Framework及.NET Core/.NET 5+

方案3：自定义轻量归档格式（无第三方依赖） #

如果严格限制第三方库依赖，可以自行实现简单的归档格式，核心逻辑是先追加条目内容，最后写入索引表：

1. 每次写入条目时，先写入条目元数据（文件名、大小、时间戳），再写入条目内容，同时记录每个条目的文件偏移和大小
2. 所有条目写入完成后，在文件末尾写入所有条目的索引信息
3. 读取归档时，先读取末尾的索引表，再根据偏移定位到对应条目内容

这种方式完全可控，但需要自行处理IO异常、数据校验等细节，开发成本较高，适合对依赖有严格要求的场景。

注意事项 #

• 长时间运行时，定期调用Stream.Flush()刷新缓冲区，避免意外断电导致数据丢失
• 若需压缩，建议选择低压缩级别，减少长时间运行的CPU负载
• 确保程序拥有持续写入文件的权限，避免文件被系统或其他进程锁定

内容的提问来源于stack exchange，提问作者Blindy