PrestoDB中基于特定字段合并表的实现方案咨询

步骤1：给table1添加attribute_1列 #

首先使用ALTER TABLE命令为table1新增列，指定对应的数据类型（比如VARCHAR，根据实际业务调整）：

ALTER TABLE table1 ADD COLUMN attribute_1 VARCHAR;

步骤2：将table2的attribute_1合并到table1的新date分区 #

根据你的连接器（如Hive）是否支持UPDATE操作，分两种场景处理：

场景1：连接器支持UPDATE操作（如Hive 3.x及以上）

直接通过关联条件更新table1新分区的attribute_1字段，保留原有type等字段：

UPDATE table1
SET attribute_1 = t2.attribute_1
FROM table2 t2
WHERE table1.name = t2.name
  AND table1.id = t2.id
  AND table1.date = t2.date
  AND table1.date = '2024-05-20'; -- 替换为你的目标新分区日期

场景2：连接器不支持UPDATE操作

使用INSERT OVERWRITE覆盖目标分区，通过关联查询合并两张表的数据，确保保留table1的type字段：

INSERT OVERWRITE table1 PARTITION (date = '2024-05-20') -- 替换为目标新分区日期
SELECT 
  t1.name,
  t1.id,
  t1.type,
  t2.attribute_1
FROM table1 t1
LEFT JOIN table2 t2
  ON t1.name = t2.name
  AND t1.id = t2.id
  AND t1.date = t2.date
WHERE t1.date = '2024-05-20';

如果table2中存在table1新分区里没有的name+id组合，需要保留这部分数据的话，改用FULL JOIN并填充默认值：

INSERT OVERWRITE table1 PARTITION (date = '2024-05-20')
SELECT 
  COALESCE(t1.name, t2.name) AS name,
  COALESCE(t1.id, t2.id) AS id,
  COALESCE(t1.type, '默认类型') AS type, -- 根据业务设置合适的默认值
  t2.attribute_1
FROM table1 t1
FULL JOIN table2 t2
  ON t1.name = t2.name
  AND t1.id = t2.id
  AND t1.date = t2.date
WHERE COALESCE(t1.date, t2.date) = '2024-05-20';

说明 #

• 旧分区的数据无需额外处理，新增的attribute_1字段在旧分区会以NULL值存在，若需要填充旧分区数据，可复用上述逻辑修改分区条件即可。
• 执行操作前建议先在测试环境验证数据正确性，避免误操作影响生产数据。

内容的提问来源于stack exchange，提问作者dhlbryan