Python如何不创建本地文件直接跨Azure Blob容器上传处理文件

核心思路 #

不需要写入任何本地文件，全程通过内存流完成「源Blob下载 -> 内容处理 -> 目标Blob上传」全流程，完全适配Azure Container Instance无本地持久化路径的部署要求：

• 从源容器下载Blob时直接读取字节内容到内存
• 所有文件解析、修改操作全部在内存中完成
• 处理完成的内容写入内存字节缓冲区，直接作为上传接口的入参，不需要落盘到本地路径

修改后可直接运行的代码 #

from azure.storage.blob import BlobServiceClient
import json
import io

class FileProcessing:

    def __init__(self):
        self.file_access()

    def file_access(self):
        filename = "data_map.json"
        source_container = "filestorage"
        target_container = "filedeposit"
        target_filename = "json_data.json"
        # 替换为实际存储账号连接字符串
        constr = ""

        # 初始化Blob服务客户端
        blob_service_client = BlobServiceClient.from_connection_string(constr)
        
        # 从源容器下载文件到内存
        source_container_client = blob_service_client.get_container_client(source_container)
        source_blob_client = source_container_client.get_blob_client(filename)
        stream_downloader = source_blob_client.download_blob()
        # 直接在内存中解析JSON，后续可直接对返回对象做业务修改
        file_content = json.loads(stream_downloader.readall())

        # 将处理后的内容写入内存字节流，不生成本地文件
        memory_stream = io.BytesIO()
        # 序列化JSON内容后写入内存流
        memory_stream.write(json.dumps(file_content).encode('utf-8'))
        # 将流指针重置到起始位置，否则上传会读取空内容
        memory_stream.seek(0)

        # 直接上传内存流到目标容器
        target_container_client = blob_service_client.get_container_client(target_container)
        print("正在上传文件到Blob存储")
        target_blob_client = target_container_client.get_blob_client(target_filename)
        target_blob_client.upload_blob(memory_stream, overwrite=True)
        print("文件上传完成")


if __name__ == "__main__":
    FileProcessing()

关键说明 #

• 代码完全移除了所有本地文件读写逻辑，没有任何硬编码本地路径，部署到ACI时不会出现本地路径不存在、权限不足的问题
• 后续需要添加文件处理逻辑时，直接在file_content对象上做修改即可，修改完成后再序列化写入内存流
• 如果处理的是非JSON类二进制文件，可以省略JSON解析/序列化步骤，直接将下载得到的字节内容写入BytesIO对象，处理完成后直接上传即可
• overwrite=True参数用于覆盖目标容器中已存在的同名文件，可根据实际业务需求调整

内容的提问来源于stack exchange，提问作者Eliot Kim