异步BlobClient.stage_block()频繁抛出HTTP 400无效请求动词异常

问题描述 #

使用Python异步SDK azure.storage.blob.aio 的 BlobClient.stage_block() 接口向Azure Blob存储分块上传文件时，前1-2个块上传正常，但从第3或第4个块开始频繁抛出异常：

HTTP Error 400. The request verb is invalid.

捕获异常并重试时，第二次或第三次尝试通常能成功，但后续块仍会反复出现该问题，错误率在30%-70%之间。实际场景中使用aiohttp从其他源同时下载文件并分块上传。

使用的依赖版本 #

aiohttp==3.8.4
aiosignal==1.3.1
async-timeout==4.0.2
attrs==23.1.0
autopep8==2.0.2
azure-common==1.1.28
azure-core==1.28.0
azure-functions==1.15.0
azure-functions-durable==1.2.5
azure-identity==1.14.0
azure-keyvault==4.2.0
azure-keyvault-certificates==4.7.0
azure-keyvault-keys==4.8.0
azure-keyvault-secrets==4.7.0
azure-storage-blob==12.17.0

可能的原因与解决办法 #

1. 并发请求过高导致服务器异常处理 #

异步上传时若未限制并发数，大量同时发起的stage_block请求可能触发Azure存储服务的异常处理逻辑，导致请求动词被误判。

• 解决：使用asyncio.Semaphore控制同时上传的块数，比如限制并发数为5-10，避免请求过载。

2. 块ID生成存在格式或重复问题 #

stage_block要求block_id是Base64编码的唯一字符串，若生成逻辑存在重复或编码错误，可能导致服务端解析异常。

• 解决：确保每个块的block_id是唯一的Base64编码值，比如用块索引+随机字符串的组合生成，避免重复。

3. SDK版本存在已知异步上传bug #

当前使用的azure-storage-blob==12.17.0可能存在异步分块上传的潜在bug，后续版本已修复相关问题。

• 解决：升级azure-storage-blob到最新稳定版（如12.20.x及以上），同时同步升级azure-core依赖。

4. aiohttp连接池配置问题 #

aiohttp的连接复用机制可能导致请求头部或动词被意外篡改，尤其是在高并发场景下。

• 解决：调整aiohttp的connector配置，比如禁用连接复用，或者设置合理的keep-alive参数：

  from aiohttp import TCPConnector
  connector = TCPConnector(force_close=True)  # 禁用连接复用
  

  然后在创建BlobClient时传入自定义的aiohttp.ClientSession：

  from azure.storage.blob.aio import BlobClient
  import aiohttp
  
  async with aiohttp.ClientSession(connector=connector) as session:
      blob_client = BlobClient(account_url="...", container_name="...", blob_name="...", session=session)
      # 执行分块上传逻辑
  

5. BlobClient实例的协程安全问题 #

虽然官方文档说明BlobClient是协程安全的，但在极端高并发场景下可能存在状态冲突，导致请求构造异常。

• 解决：每个块上传时创建独立的BlobClient实例，或者确保同一实例不会被多个协程同时调用。

内容的提问来源于stack exchange，提问作者Matthias Holzapfel