分区Avro Hive表修改列名时如何避免数据丢失？

问题根源 #

Avro格式的Hive表依赖其内置Schema实现数据映射，普通的ALTER TABLE CHANGE命令仅修改了Hive元数据中的列名，但未同步更新Avro Schema的字段名。Hive读取数据时会用新列名去Avro Schema中匹配，找不到对应字段就返回null。

解决方法 #

方法一：修改列名时关联原Avro字段（快速修复） #

在修改列名的同时，通过注释指定该列对应的Avro原字段名，让Hive能正确映射数据：

ALTER TABLE <table_name> CHANGE acct_cd account_code INT COMMENT '{"name": "acct_cd", "type": "int"}';

执行后，Hive元数据中列名为account_code，但读取Avro数据时会关联原Schema中的acct_cd字段，数据即可正常显示。

方法二：更新Avro Schema（永久修改） #

如果需要彻底将Avro Schema中的字段名也改为account_code，按以下步骤操作：

1. 导出当前Avro Schema
   执行命令查看表的详细信息，复制其中的Avro Schema内容：

DESCRIBE FORMATTED <table_name>;

找到Avro Schema对应的JSON字符串，将其中的"name": "acct_cd"替换为"name": "account_code"，保存为新的Schema文件（例如new_schema.avsc）并上传到HDFS。

2. 更新表的Schema配置
   执行命令将表的Avro Schema替换为新的：

ALTER TABLE <table_name> SET SERDEPROPERTIES ('avro.schema.url'='hdfs:///path/to/new_schema.avsc');

若使用内嵌Schema，可直接传入Schema字符串：

ALTER TABLE <table_name> SET SERDEPROPERTIES ('avro.schema.literal'='{"type":"record","name":"表名","fields":[{"name":"acct_no","type":"string"},{"name":"account_code","type":"int"},{"name":"date","type":"date"}]}');

3. 同步分区元数据（可选）
   由于是分区表，执行以下命令确保所有分区的元数据同步：

MSCK REPAIR TABLE <table_name>;

内容的提问来源于stack exchange，提问作者Another Mailbox