Google Cloud Functions触发器加载Storage数据到BigQuery遇404错误

核心问题分析 #

你的代码当前通过环境变量固定获取桶名和文件名，但基于Cloud Storage事件触发的函数，应该从触发事件的event参数中动态获取当前上传的文件路径，而非依赖固定环境变量。这是导致URI找不到的最可能原因——环境变量配置的路径和实际触发事件的文件路径不匹配，或是环境变量值本身有误。

排查与解决步骤 #

1. 修复代码：从事件参数中获取正确路径 #

替换代码中从环境变量获取bucket_name和file_name的逻辑，改为从触发事件中提取：

import os
from google.cloud import bigquery

def csv_loader(event, context):
    print(f"event_key {event}")
    # 从触发事件中获取桶名和文件名（替换原环境变量逻辑）
    bucket_name = event['bucket']
    file_name = event['name']
    
    project_id = os.environ['PROJECT']
    bq_dataset = os.environ['DATASET']
    bq_table = os.environ['TABLE']
    
    client = bigquery.Client()
    job_config = bigquery.LoadJobConfig(
            schema = [bigquery.SchemaField('OUL_GRP_ID', 'INTEGER', 'REQUIRED'),
                      bigquery.SchemaField('MERCH_LVL', 'STRING', 'REQUIRED'),
                      bigquery.SchemaField('MERCH_NBR', 'INTEGER', 'REQUIRED'),
                      bigquery.SchemaField('EXCLUDE', 'STRING', 'REQUIRED')],
            skip_leading_rows=1, source_format = bigquery.SourceFormat.CSV
    )
   
    gcs_uri = f"gs://{bucket_name}/{file_name}"
    # 添加日志打印，确认生成的URI是否正确
    print(f"Loading from URI: {gcs_uri}")
    
    table_id = f"{project_id}.{bq_dataset}.{bq_table}"
    load_job = client.load_table_from_uri(
            gcs_uri,
            table_id,
            job_config=job_config)
    
    print(f'Starting job {load_job.job_id}')
    print(f'File: {file_name}')
    load_job.result()
    print('Job finished.')
    destination_table = client.get_table(table_id)
    print(f'Loaded {destination_table.num_rows} rows.')

2. 验证环境变量（若需固定路径） #

如果确实需要固定加载某个特定文件，确认：

• BUCKET值为完整GCS桶名（不带gs://前缀）
• FILE值为桶内文件的完整路径（包含子文件夹，比如data/20230322_data.csv）
• 新增日志打印生成的gcs_uri，查看Cloud Functions日志确认路径是否和实际文件一致

3. 检查路径大小写与特殊字符 #

GCS路径区分大小写，若文件名/桶名大小写与代码中不一致会导致404；同时避免路径中包含未转义的特殊字符（如空格、中文），建议使用下划线或短横线替代。

4. 二次确认服务账号权限 #

确保Cloud Functions关联的服务账号拥有：

• roles/storage.objectViewer（读取GCS文件权限）
• 权限需绑定在目标GCS桶上（而非仅项目级，避免权限范围覆盖问题）

内容的提问来源于stack exchange，提问作者DKM