Azure Function批量设置Blob元数据超时，如何仅获取无元数据Blob？

针对你遇到的超时和重复处理问题，核心思路是在查询Blob时直接过滤掉已设置目标元数据的条目，同时结合分页处理避免超时。下面分步骤给你具体方案：

1. 通过Blob存储的查询过滤仅获取未处理的Blob #

Azure Blob存储支持在列出Blob时通过元数据条件过滤，你可以根据要设置的元数据键来筛选：

场景1：检查是否缺少特定元数据键（比如你要设置的CustomTag） #

假设你要给Blob添加CustomTag元数据，那么只需要列出不包含该元数据键的Blob。以C#为例：

var blobServiceClient = new BlobServiceClient(connectionString);
var containerClient = blobServiceClient.GetBlobContainerClient("your-container-name");

// 列出Blob时包含元数据，并过滤掉已有目标元数据的条目
var blobs = containerClient.GetBlobsAsync(BlobTraits.Metadata, states: BlobStates.None, prefix: null)
    .Where(b => !b.Metadata.ContainsKey("CustomTag"));

await foreach (var blob in blobs)
{
    var blobClient = containerClient.GetBlobClient(blob.Name);
    // 设置元数据
    await blobClient.SetMetadataAsync(new Dictionary<string, string> { { "CustomTag", "Processed" } });
}

场景2：检查元数据值是否标记为未处理 #

如果是通过元数据值标记处理状态（比如IsProcessed: "false"），可以这样过滤：

var blobs = containerClient.GetBlobsAsync(BlobTraits.Metadata)
    .Where(b => !b.Metadata.TryGetValue("IsProcessed", out var value) || value != "true");

如果用Python的azure-storage-blob库，代码逻辑类似：

from azure.storage.blob import BlobServiceClient

blob_service_client = BlobServiceClient.from_connection_string("your-connection-string")
container_client = blob_service_client.get_container_client("your-container-name")

# 遍历所有Blob并过滤未处理的
for blob in container_client.list_blobs(include_metadata=True):
    if "CustomTag" not in blob.metadata:
        blob_client = container_client.get_blob_client(blob.name)
        # 设置元数据
        blob_client.set_blob_metadata(metadata={"CustomTag": "Processed"})

2. 解决超时问题的补充方案 #

除了过滤，还要解决批量处理的超时问题：

• 分页处理：使用MaxResultsPerPage参数限制每次查询的Blob数量，避免一次性加载过多数据导致超时。比如C#中可以在GetBlobsAsync里指定maxResultsPerPage: 100，分批次处理。
• 使用Durable Functions：如果Blob数量极大，可以用Azure Durable Functions来实现分片处理、重试机制，避免单次函数执行超时。
• 异步批量操作：尽量使用异步API（比如SetMetadataAsync），提高处理效率。

3. 注意事项 #

• 元数据的一致性：刚设置的元数据可能会有短暂的一致性延迟，如果你在短时间内重新查询，可能会看到旧的状态，可以适当添加重试或延迟逻辑。
• 权限：确保Azure Function的身份（比如系统分配的托管身份）有足够的Blob存储权限（至少Storage Blob Data Contributor）来读取元数据和设置元数据。

内容的提问来源于stack exchange，提问作者tumblewood