如何将Google Cloud Storage存储桶内所有文件打包为zip并存入该桶
Cloud Storage桶内文件打包为ZIP并回写同桶的完整实现
现有代码的待补全环节
你当前的代码已经具备遍历获取存储桶Blob列表的能力,缺少三个核心流程,且存在Python语法层面的缩进问题(函数内部代码块未做缩进,直接运行会报语法错误):
- 逐一把目标Blob的二进制内容读取到可写入的存储空间
- 按ZIP格式规范逐文件写入压缩结构
- 把生成的压缩包回写到目标存储桶
可直接运行的修正代码
from google.cloud import storage import os import zipfile import io os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="file.json" def zip_in_bucket(bucketname, zip_output_name="bucket_full_backup.zip"): client = storage.Client() bucket = client.get_bucket(bucketname) object_generator = bucket.list_blobs() # 初始化内存缓冲,避免文件落地占用本地磁盘空间 zip_buffer = io.BytesIO() # 构建ZIP写入对象,使用默认压缩等级 with zipfile.ZipFile(zip_buffer, "w", zipfile.ZIP_DEFLATED) as zip_file: for blob in object_generator: # 跳过待生成的ZIP自身,避免循环重复打包 if blob.name == zip_output_name: continue # 拉取Blob二进制内容直接写入ZIP,无需下载到本地磁盘路径 # 写入时会保留Blob的原始名称作为ZIP内的相对路径,和你之前遍历打印的file-1.csv等文件名完全对应 file_content = blob.download_as_bytes() zip_file.writestr(blob.name, file_content) # 将ZIP缓冲指针复位到起点,准备上传 zip_buffer.seek(0) output_blob = bucket.blob(zip_output_name) output_blob.upload_from_file(zip_buffer, content_type="application/zip") print(f"压缩包已写入存储桶路径:gs://{bucketname}/{zip_output_name}") # 实际调用时替换为你的目标桶名称 zip_in_bucket("你的目标存储桶名称")
适配调整说明
- 权限要求:确保使用的凭证文件对应服务账号,同时拥有目标存储桶的对象列表读取、对象内容读取、新对象写入三类权限,缺权限会直接触发API报错
- 大文件场景:如果桶内总文件大小远超当前运行环境的可用内存,把内存缓冲
io.BytesIO()替换为tempfile模块生成的本地临时文件做ZIP写入,避免内存溢出崩溃 - 范围限定:如果只需要打包特定目录前缀下的文件,给
bucket.list_blobs()增加prefix="你的目录前缀/"参数,缩小遍历范围减少无效API开销
内容的提问来源于stack exchange,提问作者marloswn
相关产品推荐
相关产品推荐

