You need to enable JavaScript to run this app. 如何将Google Cloud Storage存储桶内所有文件打包为zip并存入该桶
优惠活动
大模型
产品
解决方案
定价
更多

如何将Google Cloud Storage存储桶内所有文件打包为zip并存入该桶

Cloud Storage桶内文件打包为ZIP并回写同桶的完整实现

现有代码的待补全环节

你当前的代码已经具备遍历获取存储桶Blob列表的能力,缺少三个核心流程,且存在Python语法层面的缩进问题(函数内部代码块未做缩进,直接运行会报语法错误):

  1. 逐一把目标Blob的二进制内容读取到可写入的存储空间
  2. 按ZIP格式规范逐文件写入压缩结构
  3. 把生成的压缩包回写到目标存储桶

可直接运行的修正代码

from google.cloud import storage
import os
import zipfile
import io

os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="file.json"

def zip_in_bucket(bucketname, zip_output_name="bucket_full_backup.zip"):
    client = storage.Client()
    bucket = client.get_bucket(bucketname)
    object_generator = bucket.list_blobs()

    # 初始化内存缓冲,避免文件落地占用本地磁盘空间
    zip_buffer = io.BytesIO()
    # 构建ZIP写入对象,使用默认压缩等级
    with zipfile.ZipFile(zip_buffer, "w", zipfile.ZIP_DEFLATED) as zip_file:
        for blob in object_generator:
            # 跳过待生成的ZIP自身,避免循环重复打包
            if blob.name == zip_output_name:
                continue
            # 拉取Blob二进制内容直接写入ZIP,无需下载到本地磁盘路径
            # 写入时会保留Blob的原始名称作为ZIP内的相对路径,和你之前遍历打印的file-1.csv等文件名完全对应
            file_content = blob.download_as_bytes()
            zip_file.writestr(blob.name, file_content)
    
    # 将ZIP缓冲指针复位到起点,准备上传
    zip_buffer.seek(0)
    output_blob = bucket.blob(zip_output_name)
    output_blob.upload_from_file(zip_buffer, content_type="application/zip")
    print(f"压缩包已写入存储桶路径:gs://{bucketname}/{zip_output_name}")

# 实际调用时替换为你的目标桶名称
zip_in_bucket("你的目标存储桶名称")

适配调整说明

  • 权限要求:确保使用的凭证文件对应服务账号,同时拥有目标存储桶的对象列表读取、对象内容读取、新对象写入三类权限,缺权限会直接触发API报错
  • 大文件场景:如果桶内总文件大小远超当前运行环境的可用内存,把内存缓冲io.BytesIO()替换为tempfile模块生成的本地临时文件做ZIP写入,避免内存溢出崩溃
  • 范围限定:如果只需要打包特定目录前缀下的文件,给bucket.list_blobs()增加prefix="你的目录前缀/"参数,缩小遍历范围减少无效API开销

内容的提问来源于stack exchange,提问作者marloswn

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 20:06:04