Google Cloud Function无法访问Cloud Storage已有文件夹的技术求助

你的核心问题是误用了本地文件系统的glob工具访问Google Cloud Storage（GCS）的“文件夹”——GCS是对象存储，不存在真正的目录结构，所谓的“文件夹”本质是对象键的前缀，glob无法直接识别GCS的存储结构。此外，代码中创建Blob的路径写法有误，bucket.blob()不需要带上bucket名称，直接传入对象路径即可。

修正步骤与代码示例 #

1. 正确遍历GCS前缀（模拟文件夹） #

使用GCS客户端库的list_blobs()方法，通过prefix参数过滤目标前缀，再通过delimiter参数区分“文件夹”（前缀）和对象。

2. 直接定位目标文件夹1_42_ten #

如果最终目标是访问1_42_ten下的文件，可以直接指定该前缀，无需先遍历所有子文件夹，提升效率。

修改后的代码如下：

from google.cloud import storage

def hello_gcs(event, context):
    """Triggered by a change to a Cloud Storage bucket.
    Args:
         event (dict): Event payload.
         context (google.cloud.functions.Context): Metadata for the event.
    """
    print("Function triggered")
    storage_client = storage.Client()
    bucket = storage_client.bucket("bucket_name")

    # 列出data_folders下的所有子前缀（即模拟的子文件夹）
    def list_sub_folders():
        prefix = "data_folders/"
        delimiter = "/"
        # 获取所有带指定前缀的结果，delimiter用来区分前缀和对象
        blobs = bucket.list_blobs(prefix=prefix, delimiter=delimiter)
        # 提取所有子前缀（即子文件夹）
        sub_folders = blobs.prefixes
        sorted_folders = sorted(sub_folders)
        print("子文件夹列表:", sorted_folders)
        return sorted_folders

    # 直接访问目标文件夹1_42_ten下的所有文件
    def load_target_folder_files():
        target_prefix = "data_folders/1_42_ten/"
        blobs = bucket.list_blobs(prefix=target_prefix)
        # 遍历目标文件夹下的所有文件
        for blob in blobs:
            # 这里可以添加加载文件的逻辑，比如下载到临时目录或读取内容
            print(f"找到文件: {blob.name}")
            # 示例：读取文件内容到字符串
            content = blob.download_as_text()
            print(f"文件内容预览: {content[:100]}")

    # 调用方法
    list_sub_folders()
    load_target_folder_files()

额外注意事项 #

• 确保Cloud Function的服务账号拥有storage.objects.list和storage.objects.get权限（通常默认的Cloud Functions服务账号已有基础权限，若遇权限问题可在IAM中调整）。
• GCS的前缀必须以/结尾，否则会匹配以该字符串开头的所有对象（包括非文件夹的对象），比如data_folders会匹配data_folders.txt这类对象，而data_folders/只会匹配该“文件夹”下的内容。

内容的提问来源于stack exchange，提问作者maci_f