BigQuery中向临时表插入少量数据速度异常缓慢的原因问询

嘿，我来帮你拆解下这个问题——这种小数据插入却慢得离谱的情况，在BigQuery里其实挺常见的，主要是它的设计定位和临时表的特性导致的，具体原因有这几个：

• 临时表冷启动+多次插入的固定开销：BigQuery是为大规模数据处理打造的，每一次INSERT语句都相当于触发一个独立的作业，而每个作业都有固定的启动开销：比如资源调度、元数据校验、日志记录这些流程。你分6次执行插入，就等于重复了6次这些固定开销，再加上临时表是会话级的，首次操作时后台还要初始化存储分区，冷启动的延迟就被进一步放大了。

• NULL值触发的统计信息更新：那条带NULL值的插入耗时20秒，核心原因是首次向表中插入NULL值时，BigQuery需要更新表的schema统计信息——比如确认列的nullable状态、采样数据分布。临时表没有持久化的统计缓存，这个更新过程的开销会比普通持久化表更明显，需要额外的后台任务来完成，自然就拖慢了速度。

快速优化方案 #

最直接的解决办法就是把所有插入合并成单条语句，这样只触发一次作业，固定开销只算一次：

create temporary table units ( id string, Nof_units int, source_name string );
insert into units values 
('aFsd23j2', 45, 'a'),
('aFsd23j2', 34, 'b'),
('aFsd23j2', 12, 'c'),
('r8cxn23n', 130, 'a'),
('r8cxn23n', 139, 'b'),
('r8cxn23n', null, 'c');
select * from units;

这样操作的话，整个插入过程应该会在几秒内完成，NULL值的额外开销也会被合并到单次作业里，不会单独拖慢速度。

内容的提问来源于stack exchange，提问作者Eliy Arlev