BigQuery加载作业未遵循Schema设置的默认值问题

问题原因 #

BigQuery表列的默认值仅在**使用INSERT语句显式插入数据（且未指定该列）**时生效，而通过GCS批量加载JSON文件这类加载作业，是直接将文件字段映射到表字段，缺失的字段会被设为NULL，不会触发表的默认值逻辑——这就是你遇到ingress_at全为NULL的核心原因。

可行解决方案 #

• 方法1：通过临时表中转

  1. 创建一个和源JSON结构一致的临时表（不含ingress_at列）
  2. 将GCS中的JSON文件加载到这个临时表
  3. 执行INSERT语句将临时表数据导入目标表：

     INSERT INTO `你的项目.你的数据集.目标表` (列名1, 列名2, ...)
     SELECT 列名1, 列名2, ... FROM `临时表名`;
     

     此时目标表的ingress_at会自动填充默认的CURRENT_DATETIME
  4. 按需删除临时表

• 方法2：加载时直接用SQL补充字段
  使用LOAD DATA语句配合SELECT逻辑，在加载过程中直接给ingress_at赋值：

  LOAD DATA INTO `你的项目.你的数据集.目标表` (列名1, 列名2)
  FROM FILES (
    format = 'JSON',
    uris = ['gs://你的存储桶路径/目标文件.json']
  )
  SELECT 列名1, 列名2, CURRENT_DATETIME() AS ingress_at;
  

  这种方式无需临时表，一步完成加载和字段填充。

• 方法3：预处理JSON文件（不推荐，适合小批量）
  手动或通过脚本给每个JSON对象添加"ingress_at": "当前时间"字段，但这种方式效率低，不适合大规模数据。

为什么之前的尝试无效 #

• CURRENT_DATETIME和CURRENT_DATETIME()在表定义里功能完全一致，改写法解决不了问题
• 设置为REQUIRED字段时，加载作业因找不到对应列直接失败，符合预期——因为加载作业不会自动填充默认值
• 自动检测Schema会因文件缺列报错，属于正常逻辑
• 手动定义加载Schema时，缺失的列仍会被设为NULL，因为加载作业不触发表的默认值规则

内容的提问来源于stack exchange，提问作者evam