如何通过Azure函数从Blob存储中获取CSV文件的编码？

核心说明 #

Azure Blob存储不会自动检测并添加文件的文本编码属性，你在UI中看到的空属性（通常是Content-Encoding）是用于标识压缩格式的，和文本编码无关。要实现需求，有两种可行方案：

方案一：上传时主动添加编码元数据 #

如果能控制文件上传的流程，在上传Blob时手动添加自定义元数据来记录编码：

具体操作方式 #

• Azure存储资源管理器：上传文件时，进入「高级」选项卡的「元数据」区域，添加键值对（比如File-Encoding: UTF8-BOM）
• C# SDK上传示例：

  var blobClient = new BlobClient(connectionString, containerName, blobName);
  // 添加自定义元数据存储编码信息
  var metadata = new Dictionary<string, string> { { "File-Encoding", "UTF8-BOM" } };
  await blobClient.UploadAsync(filePath, new BlobUploadOptions { Metadata = metadata });
  

• Azure CLI上传示例：

  az storage blob upload --account-name <存储账户名> --container-name <容器名> --name <Blob名称> --file <本地文件路径> --metadata "File-Encoding=UTF8-BOM"
  

在Azure函数中读取元数据 #

触发函数时，通过BlobClient获取已设置的元数据：

[FunctionName("BlobTrigger")]
public static async Task Run(
    [BlobTrigger("samples-workitems/{name}", Connection = "AzureWebJobsStorage")] Stream myBlob,
    string name,
    IBinder binder,
    ILogger log)
{
    var blobClient = binder.Bind<BlobClient>(new BlobAttribute($"samples-workitems/{name}"));
    await blobClient.FetchAttributesAsync();
    // 读取自定义编码元数据
    if (blobClient.Metadata.TryGetValue("File-Encoding", out string encoding))
    {
        log.LogInformation($"文件编码：{encoding}");
        // 根据编码处理CSV内容
        var reader = new StreamReader(myBlob, Encoding.GetEncoding(encoding));
        // ...后续业务逻辑
    }
}

方案二：在Azure函数中自动检测编码 #

如果无法控制上传流程，只能通过分析Blob内容自动识别编码：

手动检测BOM（字节顺序标记） #

通过读取文件开头的几个字节判断编码，这是最可靠的方式：

[FunctionName("BlobTrigger")]
public static async Task Run(
    [BlobTrigger("samples-workitems/{name}", Connection = "AzureWebJobsStorage")] Stream myBlob,
    ILogger log)
{
    var bomBuffer = new byte[4];
    var bytesRead = await myBlob.ReadAsync(bomBuffer, 0, 4);
    myBlob.Position = 0; // 重置流位置，避免影响后续读取

    Encoding encoding = Encoding.UTF8; // 默认使用UTF8
    // 检测UTF8-BOM
    if (bytesRead >= 3 && bomBuffer[0] == 0xEF && bomBuffer[1] == 0xBB && bomBuffer[2] == 0xBF)
    {
        encoding = new UTF8Encoding(true);
    }
    // 可扩展检测其他编码的BOM，比如UTF16-LE、UTF16-BE等

    log.LogInformation($"检测到编码：{encoding.EncodingName}");
    var reader = new StreamReader(myBlob, encoding);
    // ...处理CSV内容
}

使用编码检测库 #

借助System.Text.Encoding.Detection NuGet包实现更全面的编码检测：

// 先安装NuGet包：System.Text.Encoding.Detection
[FunctionName("BlobTrigger")]
public static async Task Run(
    [BlobTrigger("samples-workitems/{name}", Connection = "AzureWebJobsStorage")] Stream myBlob,
    ILogger log)
{
    var detector = new EncodingDetector();
    detector.Feed(myBlob);
    detector.End();
    var encoding = detector.DetectedEncoding ?? Encoding.UTF8;
    myBlob.Position = 0; // 重置流位置

    log.LogInformation($"检测到编码：{encoding.EncodingName}");
    var reader = new StreamReader(myBlob, encoding);
    // ...处理CSV内容
}

关键注意事项 #

• 不要混淆Content-Encoding和文本编码：Content-Encoding是用于标识压缩格式（如gzip）的字段，并非存储文本编码，所以Azure UI中该字段为空是正常现象。
• 自动检测存在局限性：对于无BOM的文本文件，检测结果可能有误差，优先推荐上传时主动设置元数据的方案。

内容的提问来源于stack exchange，提问作者Вадим Фомін