Python异步Azure Function未完成Blob存储写入任务排查

核心问题分析 #

你的代码主要存在两个关键问题：

1. 异步资源未正确释放：BlobServiceClient是异步客户端，未通过上下文管理器管理时，可能在Blob上传操作完成前函数就提前结束，导致写入未完成。
2. 缺少异常排查机制：异步操作出错时无日志记录，无法定位HTTP请求失败或Blob上传失败的具体原因。

修正后的代码 #

import logging

import azure.functions as func
from azure.identity import DefaultAzureCredential
from azure.storage.blob.aio import BlobServiceClient
import aiohttp

async def main(msg: func.QueueMessage):
    url: str = msg.get_body().decode('utf-8')
    logging.info(f"Processing URL: {url}")

    account_url = "https://SOMETHING.blob.core.windows.net"
    default_credential = DefaultAzureCredential()
    
    # 用async with管理异步Blob服务客户端，确保资源正确释放
    async with BlobServiceClient(account_url, credential=default_credential) as blob_service_client:
        # 替换URL中的斜杠等特殊字符，避免Blob路径层级问题
        file_name = url.replace('https://', '').replace('/', '_').replace(':', '_')
        blob_client = blob_service_client.get_blob_client(container='chords', blob=f'{file_name}.txt')

        try:
            async with aiohttp.ClientSession() as client:
                async with client.get(url) as response:
                    # 检查HTTP请求是否成功，避免下载错误页面
                    response.raise_for_status()
                    content = await response.text()
                    # 显式指定overwrite=True，避免同名Blob存在时上传失败
                    await blob_client.upload_blob(content, overwrite=True)
            logging.info(f"Successfully uploaded {file_name}.txt to Blob Storage")
        except Exception as e:
            # 记录详细错误日志，方便排查问题
            logging.error(f"Failed to process {url}: {str(e)}", exc_info=True)

关键修改说明 #

• 异步客户端上下文管理：用async with包裹BlobServiceClient，确保函数退出前完成所有异步操作并释放资源，解决函数提前结束导致的写入中断问题。
• Blob文件名处理：替换URL中的斜杠、冒号等特殊字符，避免被解析为Blob的层级路径，确保生成合法的Blob文件名。
• 异常捕获与日志：捕获所有异常并记录堆栈信息，快速定位HTTP请求失败（如404、网络错误）或Blob权限问题。
• HTTP请求校验：添加response.raise_for_status()，确保下载的是有效内容而非错误页面。
• 覆盖已有Blob：添加overwrite=True参数，避免因同名Blob存在导致上传失败。

额外排查建议 #

1. 查看函数应用日志：在Azure门户的函数应用中，进入“监测”>“日志”，检查是否有错误信息输出。
2. 验证权限：确认DefaultAzureCredential对应的身份（如函数应用托管标识）拥有Blob容器的存储Blob数据参与者权限。
3. 测试单个URL：手动触发函数测试单个URL，确认是否能正常生成Blob文件。

内容的提问来源于stack exchange，提问作者jrudd