如何使用boto3对Google Cloud Storage执行批量操作？

问题原因 #

GCS的S3兼容API对DeleteObjects请求的格式要求与AWS存在差异：boto3的Resource层批量删除方法默认会为每个对象添加VersionId字段（即使未启用版本控制），而GCS在未开启版本控制的场景下，不接受包含空值VersionId的请求，因此触发InvalidArgument异常。

解决方案 #

方法1：使用boto3 Client手动构造批量删除请求 #

直接调用底层Client的delete_objects方法，手动构造不含VersionId的请求体：

import boto3

BUCKET_NAME = "some-bucket"

def play_with_boto(s3_resource):
    bucket = s3_resource.Bucket(BUCKET_NAME)

    # 上传文件逻辑保持不变
    with open("holbein.jpg", "rb") as f1, open("bruegel.jpeg", "rb") as f2:
        bucket.put_object(Body=f1, Key="img/holbein.jpg")
        bucket.put_object(Body=f2, Key="img/bruegel.jpg")

    for obj in bucket.objects.filter(Prefix="img"):
        print(obj)

    # 改用Client执行批量删除
    s3_client = s3_resource.meta.client
    objects_to_delete = [{'Key': obj.key} for obj in bucket.objects.filter(Prefix="img")]
    if objects_to_delete:
        s3_client.delete_objects(
            Bucket=BUCKET_NAME,
            Delete={'Objects': objects_to_delete}
        )

if __name__ == "__main__":
    # AWS配置保持不变
    aws_s3 = boto3.resource(
        service_name='s3',
        aws_access_key_id="...",
        aws_secret_access_key="...",
    )
    # GCS配置保持不变
    gcs_s3 = boto3.resource(
        service_name='s3',
        aws_access_key_id="...",
        aws_secret_access_key="...",
        endpoint_url="https://storage.googleapis.com/",
    )
    print("AWS")
    play_with_boto(s3_resource=aws_s3)
    print("GCS")
    play_with_boto(s3_resource=gcs_s3)

方法2：自定义批量删除逻辑（兼容Resource层） #

如果想继续使用Resource层的接口，可以自定义批量删除逻辑，避免自动添加VersionId：

def bulk_delete_gcs(bucket, prefix=None):
    paginator = bucket.meta.client.get_paginator('list_objects_v2')
    pages = paginator.paginate(Bucket=bucket.name, Prefix=prefix)
    
    for page in pages:
        if 'Contents' not in page:
            continue
        objects_to_delete = [{'Key': obj['Key']} for obj in page['Contents']]
        bucket.meta.client.delete_objects(
            Bucket=bucket.name,
            Delete={'Objects': objects_to_delete}
        )

# 在play_with_boto函数中替换原批量删除代码：
# bucket.objects.filter(Prefix="img").delete()
bulk_delete_gcs(bucket, prefix="img")

关键说明 #

• GCS的S3兼容API在未开启版本控制时，不接受DeleteObjects请求中包含VersionId字段，无论其值是否为空。
• boto3的Resource层批量操作（如delete()）会默认添加VersionId，因此需要改用Client层手动构造请求。
• 两种方法都遵循GCS的批量删除限制：单次请求最多删除1000个对象，超过时会自动分页处理（方法2中使用了分页器）。

内容的提问来源于stack exchange，提问作者Jakub Kuszneruk