如何实现BigQuery表的批量更新？类似insertAll/writeJsonStream的方式

BigQuery并没有提供类似insertAll或writeJsonStream这类专门针对批量更新的API，批量更新操作主要还是通过DML语句来实现，但可以通过优化写法提升批量处理的效率：

• 合并多条更新逻辑到单条DML
  避免循环执行单条UPDATE语句，而是将批量更新条件整合到一个语句中。比如通过IN子句批量匹配更新：

  UPDATE `your-project.your-dataset.target-table`
  SET column1 = CASE id
                  WHEN 1 THEN 'new-val-1'
                  WHEN 2 THEN 'new-val-2'
                  -- 更多批量更新规则
                END
  WHERE id IN (1, 2, ...)
  

  如果更新数据量较大，更高效的方式是先将待更新的数据导入一张临时表，再通过JOIN方式完成批量更新：

  UPDATE `your-project.your-dataset.target-table` t
  SET t.column1 = tmp.new_value
  FROM `your-project.your-dataset.temp-update-table` tmp
  WHERE t.id = tmp.id
  

• 注意DML配额限制
  BigQuery对DML操作有配额约束，比如单条DML语句最多可处理1000万行数据，每日DML操作次数也有上限。需要根据数据量合理拆分批量大小，避免触发配额限制。

• 大数据量场景的替代方案
  如果需要处理超大规模的更新，可以借助Dataflow等ETL工具：先读取待更新的源数据，生成对应的更新逻辑，再批量执行DML语句；或者如果表是分区表，可以先将更新后的数据写入临时分区，再替换目标分区，这种方式在数据量极大时效率更高。

内容的提问来源于stack exchange，提问作者user2135533