如何通过API/批量方式检测Google Cloud Storage中的公开共享对象

当然可以用批量/API方式来批量检查Google Cloud Storage（GCS）里的文件是否公开共享，完全不用手动一个个核对，我来给你拆解具体的实现步骤和实用工具：

要批量检查，首先得获取存储桶里所有文件/对象的列表，这里有两种常用方式：

用gcloud命令行快速获取 #

如果你已经安装并配置了gcloud SDK，直接用这条命令就能递归列出存储桶里的所有对象（包括子目录下的）：

gcloud storage objects list gs://[你的存储桶名称] --recursive

如果想把输出转成JSON格式方便后续脚本处理，加上--format=json参数即可：

gcloud storage objects list gs://[你的存储桶名称] --recursive --format=json

用Storage API编程获取 #

如果要集成到自己的应用里，可以调用storage.objects.list接口，设置prefix参数（如果需要指定子目录）或者直接递归遍历整个桶。比如用Python的google-cloud-storage库，代码大概是这样：

from google.cloud import storage

def list_all_objects(bucket_name):
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    # 递归列出所有对象，默认会遍历所有层级
    return [blob.name for blob in bucket.list_blobs()]

核心逻辑是判断对象的IAM策略中是否包含*allUsers*（所有互联网用户）或*allAuthenticatedUsers*（所有已认证的Google用户）的读取权限（通常是roles/storage.objectViewer角色）。

用gcloud命令行单个/批量检查 #

单个对象的权限检查命令：

gcloud storage objects get-iam-policy gs://[存储桶名称]/[对象路径]

要批量检查的话，可以结合shell脚本+jq（JSON处理工具）来自动过滤：

BUCKET_NAME="你的存储桶名称"
# 递归列出所有对象，然后逐个检查
gcloud storage objects list gs://$BUCKET_NAME --recursive --format="value(name)" | while read OBJECT_NAME; do
    # 获取IAM策略并检查是否有公开读取权限
    gcloud storage objects get-iam-policy gs://$BUCKET_NAME/$OBJECT_NAME --format=json | jq '.bindings[] | select(.role == "roles/storage.objectViewer") | .members[]' | grep -q "allUsers\|allAuthenticatedUsers"
    if [ $? -eq 0 ]; then
        echo "⚠️  公开共享文件：gs://$BUCKET_NAME/$OBJECT_NAME"
    fi
done

用API编程批量检查 #

还是以Python为例，结合前面的对象列表，遍历每个对象获取IAM策略并判断：

from google.cloud import storage

def find_public_objects(bucket_name):
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blobs = bucket.list_blobs()
    public_objects = []

    for blob in blobs:
        # 获取对象的IAM策略
        policy = blob.get_iam_policy()
        # 遍历所有权限绑定，检查是否有公开读取权限
        for binding in policy.bindings:
            if binding["role"] == "roles/storage.objectViewer":
                if "allUsers" in binding["members"] or "allAuthenticatedUsers" in binding["members"]:
                    public_objects.append(f"gs://{bucket_name}/{blob.name}")
                    break  # 找到就不用继续检查这个对象的其他绑定了

    return public_objects

# 使用示例
if __name__ == "__main__":
    bucket_name = "your-bucket-name"
    public_files = find_public_objects(bucket_name)
    if public_files:
        print("找到以下公开共享的文件：")
        for file in public_files:
            print(f"- {file}")
    else:
        print("当前存储桶中没有公开共享的文件")

• 先检查存储桶级别的权限：如果存储桶本身的IAM策略给了allUsers读取权限，那么桶内所有对象默认都会继承这个权限，这时候可以先检查桶的权限，减少对象级别的检查，提升效率。
• 权限要求：执行这些操作的账号需要具备storage.objects.list和storage.objects.getIamPolicy权限，比如可以给账号分配roles/storage.objectViewer或roles/storage.admin角色。
• 大量对象的性能优化：如果存储桶里有几万甚至更多对象，建议用异步处理或者分页查询的方式，避免一次性加载所有对象导致内存占用过高。

内容的提问来源于stack exchange，提问作者jinglucxo