Hive表列重命名后如何从Parquet文件恢复旧列的数值？

可以恢复，具体操作方案如下： #

首先明确你之前两次尝试失败的核心原因：Parquet文件本身是按列名存储元数据的，Hive默认部分版本配置为按列的顺序索引读取Parquet数据，而非按列名匹配，所以当你修改Hive元数据的列名、或者新增列的位置不对时，Hive无法和Parquet文件中实际存储的col_old列匹配，就会返回空值。

方案1：原地恢复现有table_a的col_old数据 #

如果你不想新建表，直接修改现有表的SerDe配置即可完成恢复：

1. 开启按列名匹配Parquet数据的配置，避免后续再出现同类问题：

ALTER TABLE table_a SET SERDEPROPERTIES ('parquet.column.index.access' = 'false');

2. 如果你现在需要保留列名col_new，只需要加列名映射，让Hive把Parquet里的col_old数据映射到表的col_new列：

ALTER TABLE table_a SET SERDEPROPERTIES ('parquet.column.names.col_new' = 'col_old');

3. 如果你想把列名改回原来的col_old，执行列重命名语句即可，因为上一步已经开启了按列名匹配，重命名后Hive列名和Parquet文件的列名一致，直接就能读到数据：

-- 把语句里的[列类型]替换成col_old原来的实际类型
ALTER TABLE table_a CHANGE COLUMN col_new col_old [列类型];

4. 验证数据：执行SELECT col_new /* 或者col_old，看你有没有改回原名 */ FROM table_a LIMIT 10; 确认数据已经恢复。

方案2：用保留的旧Parquet文件新建表读取数据 #

如果你需要单独导出旧数据，按照以下步骤操作即可：

1. 先确认旧Parquet文件的实际Schema，可以用parquet-tools工具执行命令查看：parquet-tools schema s3://你的旧文件S3路径/xxx.parquet
2. 完全按照旧Schema创建外部表，列名、顺序、类型都和Parquet文件的Schema保持一致，LOCATION指向你存放旧Parquet文件的S3路径：

CREATE EXTERNAL TABLE table_a_old (
  -- 这里替换成和旧Schema完全一致的列定义
  col_old string,
  col1 int,
  col2 timestamp
  -- 其他列省略
)
PARTITIONED BY (/* 原来的分区列定义 */)
STORED AS PARQUET
LOCATION 's3://你存放旧Parquet文件的S3根路径/';

3. 建表后执行MSCK REPAIR TABLE table_a_old; 加载分区，之后就能直接查询到完整的col_old数据，你可以按需把数据插入回原表。

后续注意事项 #

修改Hive Parquet表的列名、增减列之前，务必确认表已经开启parquet.column.index.access=false配置，避免因索引匹配导致的数据错位、丢失问题。

内容的提问来源于stack exchange，提问作者Sameer