Hive转BigQuery：带Integer分区的INSERT OVERWRITE TABLE转换求助

要实现清除指定分区记录并插入新数据（不影响其他分区），可以根据BigQuery的特性用两种方式实现，以下是对应方案：

方案一：先删除分区数据，再插入新记录 #

这种方式逻辑清晰，适合需要分步控制的场景：

1. 删除integer_id = 100分区的所有数据：

DELETE FROM mytable
WHERE integer_id = 100;

2. 插入新数据到目标分区，需确保插入记录的integer_id字段值为100：
   • 如果mytable2不包含integer_id字段：

   INSERT INTO mytable
   SELECT tmp.*, NULL AS value, 100 AS integer_id
   FROM (SELECT * FROM mytable2) AS tmp;
   

   • 如果mytable2已包含integer_id字段，但需要强制覆盖为100：

   INSERT INTO mytable
   SELECT tmp.col1, tmp.col2, -- 列出mytable2的所有列
          NULL AS value, 100 AS integer_id
   FROM (SELECT * FROM mytable2) AS tmp;
   

方案二：用INSERT OVERWRITE直接覆盖指定分区 #

BigQuery支持直接覆盖单个分区，该操作会自动清除目标分区原有数据，再插入新数据，无需单独执行DELETE：

INSERT OVERWRITE mytable
PARTITION (integer_id = 100)
-- 需保证查询结果列与mytable完全匹配，包括分区列
SELECT tmp.*, NULL AS value, 100 AS integer_id
FROM (SELECT * FROM mytable2) AS tmp;

关键注意事项 #

• 目标表mytable必须是按integer_id创建的分区表（范围分区或整数分区），否则无法指定单个分区进行操作。
• 插入的列数、数据类型必须与mytable完全匹配，包括新增的value列和分区列integer_id。
• 如果是 ingestion-time 分区表（按_PARTITIONTIME分区），无法直接按自定义的integer_id分区操作，需提前将表改为按integer_id分区的结构。

内容的提问来源于stack exchange，提问作者Gina