Cloud Function导入GCS CSV至BigQuery时出现uuid字段匹配错误

问题描述 #

通过Cloud Function触发GCS上的CSV文件导入BigQuery表，所有字段设置为STRING类型以避免加载错误。其中一个CSV导入流程正常，但另一个CSV调用bq_client.load_table_from_uri()时返回400错误，错误提示：

Provided Schema does not match Table...Cannot add fields (field: uuid)

但该CSV文件和目标BigQuery表均无uuid列，已执行以下排查步骤：

• 使用bq show --schema dataset_name.new_file_name查看BQ表完整Schema，未发现uuid字段；
• 打印CSV表头，无uuid字段；
• 打印代码中使用的job_config对象，未配置uuid字段。

疑惑错误来源，询问BigQuery在load_table_from_uri过程中是否会后台生成uuid，或BQ表是否存在隐藏列，寻求进一步排查方向。

排查方向建议 #

• 检查目标表的完整Schema与变更历史
  执行bq show --schema --format=prettyjson dataset_name.table_name查看Schema的JSON结构，避免简洁输出遗漏细节；同时查看表的变更历史，确认是否曾存在uuid列后被删除，但残留了元数据（虽少见但需排除）。
• 验证CSV文件的实际内容
  不要仅依赖表头打印，用head -n 10 gs://your-bucket/path/to/target.csv抽取文件前10行（含表头），检查是否存在未转义的特殊字符、BOM头或编码问题，导致BigQuery解析出额外列；也可将CSV下载到本地，用文本编辑器打开确认列数和内容是否符合预期。
• 排查Cloud Function代码逻辑
  • 检查代码是否存在条件分支逻辑：是否针对不同CSV文件动态添加过uuid字段到job_config，且该分支的job_config未被打印到日志；
  • 确认job_config对象是否被复用：若之前的任务曾给job_config添加过uuid字段，未重新初始化会导致后续任务继承该配置。
• 检查目标表的分区/聚类配置
  执行bq show dataset_name.table_name查看表的分区和聚类设置，确认是否存在与uuid相关的配置（虽可能性低，但需排除关联影响）。
• 直接用bq命令行测试加载
  跳过Cloud Function，执行bq load --source_format=CSV --autodetect=false --schema=FIELD1:STRING,FIELD2:STRING... dataset_name.table_name gs://your-bucket/path/to/target.csv直接加载CSV。若命令行加载正常，说明问题出在Cloud Function代码；若同样报错，则聚焦CSV文件或目标表本身的问题。
• 确认目标表的正确性
  检查代码中指定的表名是否正确，是否误指向了包含uuid列的其他表；用bq ls dataset_name确认目标表的存在及名称无误。

内容的提问来源于stack exchange，提问作者Scott C.