如何用C#后台Web Job将海量数据加密压缩写入Azure存储

你的核心方案思路是可行的，只需要针对Azure Blob追加写入的问题做调整，同时优化流式处理逻辑避免内存溢出，以下是具体实现方案和建议：

一、解决Blob追加写入问题：使用Append Blob #

Azure Blob存储中的Append Blob专门设计用于低成本的追加操作，无需加载整个文件到内存，完全适配你分批写入CSV的场景。相比Block Blob，Append Blob的追加操作是原子性的，且性能更优。

二、分步实现流程 #

1. 初始化Append Blob #

先创建空的Append Blob（若不存在），可先写入CSV表头（如果需要）：

using Azure.Storage.Blobs;
using Azure.Storage.Blobs.Specialized;
using System.Text;

var blobServiceClient = new BlobServiceClient("你的Azure存储连接字符串");
var containerClient = blobServiceClient.GetBlobContainerClient("目标容器名");
var appendBlobClient = containerClient.GetAppendBlobClient("原始数据.csv");

if (!await appendBlobClient.ExistsAsync())
{
    await appendBlobClient.CreateAsync();
    // 写入CSV表头
    var headerBytes = Encoding.UTF8.GetBytes("ID,姓名,邮箱\n");
    await appendBlobClient.AppendAsync(headerBytes);
}

2. 分批读取存储过程数据（流式处理） #

避免将整批数据加载到DataTable，直接用SqlDataReader逐行读取，减少内存占用。同时使用高效的分页方式（优先基于主键的范围分页，而非ROW_NUMBER）：

using System.Data.SqlClient;

long lastProcessedId = 0; // 假设用主键ID作为分页标记
int batchSize = 500000;

while (true)
{
    using var dbConn = new SqlConnection("你的数据库连接字符串");
    await dbConn.OpenAsync();
    
    using var cmd = new SqlCommand("你的存储过程名", dbConn);
    cmd.CommandType = System.Data.CommandType.StoredProcedure;
    cmd.Parameters.AddWithValue("@LastId", lastProcessedId);
    cmd.Parameters.AddWithValue("@BatchSize", batchSize);

    using var reader = await cmd.ExecuteReaderAsync();
    if (!reader.HasRows) break; // 无更多数据，退出循环

    // 流式写入Append Blob
    using var appendStream = await appendBlobClient.OpenWriteAsync(true); // true表示追加模式
    using var streamWriter = new StreamWriter(appendStream, Encoding.UTF8);

    while (await reader.ReadAsync())
    {
        // 将数据库行转换为CSV格式（注意处理逗号、引号转义）
        var csvLine = $"{reader.GetInt64(0)},{EscapeCsvField(reader.GetString(1))},{EscapeCsvField(reader.GetString(2))}\n";
        await streamWriter.WriteAsync(csvLine);
        lastProcessedId = reader.GetInt64(0); // 更新分页标记
    }

    await streamWriter.FlushAsync();
    await appendStream.FlushAsync();
}

// CSV字段转义辅助方法
string EscapeCsvField(string value)
{
    if (value.Contains(',') || value.Contains('"') || value.Contains('\n'))
    {
        return $"\"{value.Replace("\"", "\"\"")}\"";
    }
    return value;
}

3. 加密与压缩处理（流式无内存加载） #

不要先加载整个CSV文件再处理，而是采用流式边读边压缩加密的方式，直接写入最终目标Blob：

• 压缩：使用GZipStream或DeflateStream流式压缩
• 加密：优先使用Azure Storage的服务器端加密（SSE），无需编写代码，只需在存储账户或Blob级别开启；若需客户端加密，可使用Azure Blob SDK提供的加密流包装

示例代码（压缩+服务器端加密）：

using System.IO.Compression;

// 创建目标Blob客户端（存储压缩加密后的文件）
var targetBlobClient = containerClient.GetBlobClient("最终数据.csv.gz");

// 流式读取原始Append Blob，压缩后写入目标Blob
using var sourceStream = await appendBlobClient.OpenReadAsync();
using var compressedStream = new GZipStream(sourceStream, CompressionMode.Compress);

// 上传时自动使用Azure服务器端加密（默认已开启）
await targetBlobClient.UploadAsync(compressedStream, overwrite: true);

// 可选：删除原始未压缩的Append Blob
await appendBlobClient.DeleteAsync();

三、方案可行性确认 #

你的方案完全可行，调整为Append Blob后解决了追加写入的核心问题，流式处理全程无需加载大文件到内存，适配亿级数据量的处理需求。

四、额外优化建议 #

• 断点续传：将lastProcessedId等分页标记存储到Azure Table Storage或App Configuration中，Web Job重启后可从断点继续处理，避免重复劳动
• 分页性能优化：存储过程优先使用WHERE ID > @LastId LIMIT @BatchSize的范围分页，避免ROW_NUMBER()导致的全表扫描，提升数据库查询效率
• 批次大小调整：根据数据库性能、网络带宽调整批次大小（比如20万~100万），找到最优平衡点
• 异步与并行：所有数据库和Blob操作使用异步方法，若Web Job资源充足，可考虑并行处理多个批次（需注意数据库连接数限制）
• 监控与日志：集成Application Insights记录每批次处理的行数、耗时、异常信息，便于排查问题
• 异常重试：对Blob操作和数据库查询添加重试逻辑（使用Polly库），处理临时网络或数据库故障

内容的提问来源于stack exchange，提问作者Abhishek Prajapati