Hive分区表列重命名后历史数据为空，如何保留列名恢复全量数据？

对某Hive分区表执行以下操作后出现异常：

1. 终止旧任务调度
2. 部署新代码
3. 执行列重命名语句：ALTER TABLE your_table CHANGE COLUMN risk_old risk_new string;（假设列类型为string）
4. 创建新任务调度

异常现象：历史分区（20230927、20230928）的risk_new列全部为空，仅新分区（20230929）数据正常。下游应用已适配新列名，无法改回原列名；测试发现改回原列名后只能看到旧数据，无法获取新分区数据。

部署前后数据对比：

部署前数据 #

部署后数据 #

问题根源是ALTER TABLE CHANGE COLUMN仅修改表级元数据，历史分区的元数据未同步更新，导致读取risk_new时无法映射到原risk_old的数据。以下是三种可行方案：

方案1：更新历史分区元数据（推荐，无数据拷贝） #

针对每个历史分区单独更新元数据，让分区级列名与表级保持一致：

1. 遍历所有历史分区，执行分区级列重命名（以period=20230927为例）：

ALTER TABLE your_table PARTITION (period='20230927') CHANGE COLUMN risk_old risk_new string;

2. 对20230928等其他历史分区重复上述操作：

ALTER TABLE your_table PARTITION (period='20230928') CHANGE COLUMN risk_old risk_new string;

3. 刷新表元数据确保生效：

MSCK REPAIR TABLE your_table;
-- Hive 3.x+ 可使用：ALTER TABLE your_table RECOVER PARTITIONS;

方案2：通过临时表同步全量数据 #

若方案1无法生效，可通过临时表重新写入全量数据：

1. 创建与原表结构一致的临时表：

CREATE TABLE your_table_temp LIKE your_table;

2. 写入历史分区数据（映射旧列到新列）：

INSERT OVERWRITE TABLE your_table_temp PARTITION (period)
SELECT id, risk_old AS risk_new, period
FROM your_table
WHERE period IN ('20230927', '20230928');

3. 写入新分区数据：

INSERT OVERWRITE TABLE your_table_temp PARTITION (period='20230929')
SELECT id, risk_new, period
FROM your_table
WHERE period='20230929';

4. 替换原表（操作前务必备份原表）：

DROP TABLE your_table;
ALTER TABLE your_table_temp RENAME TO your_table;

方案3：添加临时列同步数据（适用于无法修改分区元数据的场景） #

1. 给原表添加旧列risk_old：

ALTER TABLE your_table ADD COLUMNS (risk_old string);

2. 将历史分区的risk_old数据同步到risk_new：

INSERT OVERWRITE TABLE your_table PARTITION (period)
SELECT id, COALESCE(risk_new, risk_old) AS risk_new, period, risk_old
FROM your_table
WHERE period IN ('20230927', '20230928');

3. 验证数据正常后，删除临时列：

ALTER TABLE your_table DROP COLUMN risk_old;

执行方案后，查询全量数据确认结果：

SELECT id, risk_new, period FROM your_table ORDER BY period;

所有分区的risk_new列应均显示正常数据。

内容的提问来源于stack exchange，提问作者Toxicboy