Hive基于AVSC创建Avro外部表列别名不生效查询返回null问题

根因分析 #

Hive原生的Avro SerDe默认按写入Avro文件的schema字段名严格匹配读取字段，Avro定义的aliases仅默认在schema演进的跨版本兼容场景生效，Hive不会自动用alias做字段名映射，匹配不到的字段就直接返回schema中定义的默认值null。

解决方案 #

方案1：建表时显式定义列映射（兼容性最好，全版本Hive适用）

直接在建表语句中指定你需要的别名列，和底层Avro字段做映射，不需要修改AVSC文件：

create external table test (
    first_name string COMMENT '对应原fname字段',
    last_name string COMMENT '对应原lname字段'
)
STORED AS AVRO
LOCATION '/test'
TBLPROPERTIES (
    'avro.schema.url'='/test.avsc',
    'avro.column.mapping'='first_name:fname,last_name:lname'
);

如果你的Hive版本不支持avro.column.mapping参数，也可以直接调整AVSC文件的字段名和表定义列名一一对应，无需额外参数。

方案2：开启Avro alias解析支持（适用于Hive 2.3及以上版本）

建表前先开启alias识别参数，再执行建表语句即可生效：

set avro.serdes.use.aliases=true;
create external table test
STORED AS AVRO
LOCATION '/test'
TBLPROPERTIES ('avro.schema.url'='/test.avsc');

开启该参数后，Hive的Avro SerDe会自动读取schema中的aliases字段，匹配写入时的旧字段名，无需额外调整列定义。

验证 #

修改后执行查询SELECT last_name from test;即可正常返回adams、smith的预期结果。

内容的提问来源于stack exchange，提问作者Ajith Kannan