BigQuery导入JSON时无法生成默认值,如何解决?
BigQuery导入JSON时自动填充默认值的解决方法
BigQuery的LOAD DATA语句不会自动触发列的DEFAULT约束,这就是你导入JSON时字段b为NULL的核心原因。要实现自动填充默认值,以下是几种可行的方案:
方法1:通过临时表中转,用INSERT触发默认值
- 先将JSON数据加载到仅包含源数据字段的临时表:
CREATE TEMP TABLE temp_table (a STRING); LOAD DATA INTO temp_table FROM FILES ( format = 'JSON', uris = ['gs://.../test.json'] );
- 再通过
INSERT SELECT语句将数据插入目标表,此时会自动应用DEFAULT约束:
INSERT INTO `project_name.dataset_name.table_name` (a) SELECT a FROM temp_table;
方法2:在LOAD DATA中使用TRANSFORM直接生成默认值
无需中转表,直接在加载过程中为目标字段生成默认值:
LOAD DATA INTO `project_name.dataset_name.table_name` FROM FILES ( format = 'JSON', uris = ['gs://.../test.json'] ) TRANSFORM ( a STRING, b TIMESTAMP AS CURRENT_TIMESTAMP() );
这种方式会在加载时为每行数据生成当前时间戳,和DEFAULT CURRENT_TIMESTAMP的效果完全一致。
方法3:加载后补全NULL值(事后处理)
如果已经完成数据加载,可以用UPDATE语句批量补全b字段的NULL值:
UPDATE `project_name.dataset_name.table_name` SET b = CURRENT_TIMESTAMP() WHERE b IS NULL;
注意:该方法适合数据量较小的场景,大量数据更新会占用较多资源,优先推荐前两种方案。
补充说明
BigQuery的DEFAULT约束仅在DML操作(如INSERT、UPDATE)时生效,而LOAD DATA属于直接写入存储的数据加载操作,不会触发默认值逻辑,因此需要通过上述方式手动触发默认值的生成。
内容的提问来源于stack exchange,提问作者Felix
相关产品推荐
相关产品推荐

