Azure Functions中ETL管道大Zip Blob跨容器解压传输过慢问题排查

• 全量内存加载：原代码将3GB的Zip文件完整下载到io.BytesIO内存缓冲区，Azure Functions消费计划默认仅1.5GB内存配额，会触发频繁GC拖慢速度，甚至引发内存溢出风险。
• 串行处理流程：下载、解压、上传全流程串行执行，每个解压文件的上传也逐个进行，完全未利用并行能力，浪费时间。
• LZMA解压的CPU瓶颈：LZMA是高压缩比但CPU密集型算法，3GB文件解压需要大量CPU资源，而消费计划的Functions单核心配额受限，成为核心性能瓶颈。
• 无分块上传：解压后的大文件直接单次上传，未启用分块传输，易受网络波动影响，无法利用Azure Blob的分块优化特性。

1. 流式处理，避免全量内存加载 #

直接将Blob下载流传入ZipFile，无需先写入内存缓冲区，大幅降低内存占用：

import zipfile
from azure.storage.blob import ContainerClient

blob_client_in = container_client_in.get_blob_client('blob.zip')
download_stream = blob_client_in.download_blob()

# 直接用下载流初始化ZipFile，无需全量加载到内存
with zipfile.ZipFile(download_stream, compression=zipfile.ZIP_LZMA) as z:
    for file_name in z.namelist():
        # 跳过目录，避免创建空Blob
        if file_name.endswith('/'):
            continue
        with z.open(file_name, mode='r') as f:
            container_client_out.get_blob_client(file_name).upload_blob(f, overwrite=True)

2. 并行处理解压与上传 #

使用多线程并行处理多个文件的解压和上传，充分利用CPU与网络资源：

import zipfile
from concurrent.futures import ThreadPoolExecutor
from azure.storage.blob import ContainerClient

def upload_file(z, file_name, container_out):
    if file_name.endswith('/'):
        return
    with z.open(file_name, mode='r') as f:
        container_out.get_blob_client(file_name).upload_blob(
            f, 
            overwrite=True, 
            chunk_size=8*1024*1024  # 8MB分块上传
        )

blob_client_in = container_client_in.get_blob_client('blob.zip')
download_stream = blob_client_in.download_blob()

with zipfile.ZipFile(download_stream, compression=zipfile.ZIP_LZMA) as z:
    # 根据Functions实例配置调整线程数，建议4-8个
    with ThreadPoolExecutor(max_workers=6) as executor:
        futures = [executor.submit(upload_file, z, name, container_client_out) for name in z.namelist()]
        # 等待所有任务完成
        for future in futures:
            future.result()

3. 启用分块上传 #

在upload_blob中设置chunk_size（建议4MB-64MB），大文件自动分块传输，提升稳定性与速度。

4. 升级Azure Functions计划 #

切换至Premium计划（Elastic Premium），获得更高CPU、内存配额，支持最长60分钟执行时间，避免消费计划的资源限制与冷启动问题。

5. 优化解压算法（若可行） #

如果Zip文件的压缩格式可调整，改用ZIP_DEFLATED常规Zip压缩，其解压速度远快于LZMA，在压缩比可接受的情况下大幅降低CPU消耗。

内容的提问来源于stack exchange，提问作者Brian Barry