Hive2.1.1-cdh6.3.4中MultiDelimitSerDe表ALTER加列报错问题

该报错由Hive 2.x版本对自定义SerDe的列类型校验逻辑变更触发：

• Hive 1.1.0-cdh5.14.2版本执行ALTER TABLE ADD COLUMNS操作时，不会主动调用SerDe接口拉取现有列schema做合法性校验，新增列信息直接写入元存储即可完成操作，因此无报错。
• Hive 2.1.1-cdh6.3.4重构了DDL任务的校验流程，新增列时会先通过SerDe类解析现有列结构，而旧版org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe属于Hive 1.x时代contrib包的遗留实现，没有适配Hive 2.x的类型解析接口，返回的类型占位符为<derived from deserializer>，解析器在位置0遇到非法字符<时无法识别为合法Hive数据类型，直接抛出类型匹配错误。

方案1：替换为Hive 2.x内置多分隔符SerDe（优先推荐） #

CDH6.3.4自带的Hive 2.1.1已经内置了官方维护的多字符分隔符SerDe，包路径为org.apache.hadoop.hive.serde2.MultiDelimitSerDe（和旧contrib包的区别是路径中没有contrib层级），完全兼容原有~|分隔符配置，无需修改表数据。
操作步骤：

1. 先更新表的SerDe配置：

ALTER TABLE test1 SET SERDE 'org.apache.hadoop.hive.serde2.MultiDelimitSerDe';

2. 执行原新增列语句即可正常运行：

ALTER TABLE test1 ADD COLUMNS(n_limit_id bigint);

说明：替换SerDe不会改变原有表的分隔符参数、存储路径、分区属性，配置会自动沿用，历史数据可正常读取。

方案2：直接修改Hive元存储（适配无法替换SerDe的场景） #

如果存在历史任务依赖旧SerDe类路径无法替换，可以直接连接Hive元数据库修改列定义，绕过DDL层的校验逻辑：

1. 先查询目标表对应的TBL_ID：

-- 在Hive元数据库（通常为MySQL）执行
SELECT TBL_ID FROM TBLS WHERE TBL_NAME = 'test1';

2. 关联SDS表和CDS表获取列存储ID，确认现有列的最大索引值：

SELECT c.CD_ID, MAX(c.INTEGER_IDX) as max_idx 
FROM COLUMNS_V2 c 
JOIN SDS s ON c.CD_ID = s.CD_ID 
JOIN TBLS t ON s.SD_ID = t.SD_ID 
WHERE t.TBL_NAME = 'test1'
GROUP BY c.CD_ID;

3. 插入新列的元数据，将CD_ID替换为上一步查询到的值，INTEGER_IDX设为max_idx+1：

INSERT INTO COLUMNS_V2 (CD_ID, COMMENT, COLUMN_NAME, TYPE_NAME, INTEGER_IDX)
VALUES (替换为查询到的CD_ID, '', 'n_limit_id', 'bigint', 替换为max_idx+1);

注意：直接修改元数据后，需要执行MSCK REPAIR TABLE test1刷新元数据，若HiveMetaStore开启了元缓存需要重启服务生效，操作前务必备份元数据库。

方案3：重建表迁移数据 #

如果表数据量较小，可直接创建包含目标新增列的新表，将旧表数据写入新表后替换表名，该方式不会出现元数据不一致问题，兼容性最好。

内容的提问来源于stack exchange，提问作者Satya Nayak