如何遍历Google Cloud Storage文件 批量读取存储的PDF文件

你已经完成了单PDF读取逻辑，只需要新增GCS对象遍历、筛选PDF的环节即可实现批量处理，具体实现如下：

环境依赖确认 #

如果还未安装GCS SDK，执行安装命令：
pip install google-cloud-storage

核心代码实现 #

from google.cloud import storage
# 保留你原有代码的其他导入（如fitz、文本处理相关依赖）

# 初始化GCS客户端，和你现有单文件处理的初始化逻辑保持一致
storage_client = storage.Client()
# 替换为你实际使用的GCS存储桶名称
bucket_name = "你的存储桶名"
bucket = storage_client.bucket(bucket_name)

# 可选配置：如果只需要遍历桶内指定目录下的文件，给list_blobs加prefix参数，例如prefix="data/pdf/"
blobs = bucket.list_blobs()

for blob in blobs:
    # 跳过GCS中的虚拟文件夹对象
    if blob.name.endswith("/"):
        continue
    # 筛选PDF格式文件，不区分大小写
    if not blob.name.lower().endswith(".pdf"):
        continue

    # 以下直接复用你已经写好的单PDF处理逻辑即可
    print(f"当前处理文件：{blob.name}")
    pdf_bytes = blob.download_as_bytes()
    doc = fitz.open("pdf", pdf_bytes)
    # 你原有的文本提取、数据处理逻辑保持不变

优化建议 #

如果需要处理大量PDF文件，建议新增异常捕获逻辑，避免单个文件损坏导致整个流程中断：

for blob in blobs:
    try:
        # 上述PDF处理逻辑
    except Exception as e:
        print(f"文件{blob.name}处理失败，错误：{e}")
        continue

内容的提问来源于stack exchange，提问作者12345