Hive创建视图执行Union报SemanticException类型不匹配问题求助

问题排查与解决方法 #

核心原因（90%概率） #

Hive的UNION操作按列的位置顺序匹配类型，而非按列名匹配：
你单独查询column_42做UNION时，两侧查询都只有1个字段，顺序完全匹配，所以运行正常。但使用SELECT *时，Hive会按照两张表的字段物理存储顺序逐位匹配类型，而非按字段名对应：
如果table_a和table_b的字段排序不一致，刚好对应位置上table_a的字段是double类型，table_b对应位置的字段是string类型，而UNION结果的列名默认取第一个查询的列名，所以才会出现报错提示column_42类型不匹配的假象，实际和column_42本身的类型无关。

其他可能原因 #

Hive元数据缓存异常：metastore存储的表结构信息和实际不一致，导致解析报错。

排查步骤 #

1. 分别执行两张表的结构查询命令，按顺序逐位对比字段类型、数量：

-- 输出table_a的字段顺序和类型
desc default.table_a;
-- 输出table_b的字段顺序和类型
desc default.table_b;

2. 如果确认表结构顺序、类型完全一致，执行命令刷新元数据缓存：

MSCK REPAIR TABLE default.table_a;
MSCK REPAIR TABLE default.table_b;

解决方案 #

优先避免使用SELECT *做UNION操作，手动明确列出所有字段，保证两侧查询的字段顺序、数量、类型完全对应：

create view default.table_all as 
select col1, col2, ..., column_42, ... -- 按顺序列全table_a所有字段
from default.table_a
union 
select col1, col2, ..., column_42, ... -- 和上方字段顺序完全一致
from default.table_b;

内容的提问来源于stack exchange，提问作者Habenzu