Parquet数据类型与Hive数据类型的映射对应规则是什么？

以下映射覆盖Parquet官方定义的所有物理类型、逻辑类型，为生产环境实测可用的对应规则：

基础物理类型默认映射 #

物理类型是Parquet底层实际存储的格式，没有额外逻辑标注时按以下规则映射：

• BOOLEAN：对应Hive BOOLEAN，直接存储布尔真值/假值
• INT32：默认对应Hive INT（32位有符号整数）
• INT64：默认对应Hive BIGINT（64位有符号整数）
• FLOAT：对应Hive FLOAT（32位单精度浮点数）
• DOUBLE：对应Hive DOUBLE（64位双精度浮点数）
• BYTE_ARRAY：默认对应Hive BINARY（可变长字节数组）
• FIXED_LEN_BYTE_ARRAY：固定长度字节数组，默认对应Hive BINARY

带逻辑标注的类型映射 #

Parquet会在物理类型上附加逻辑类型标记，此时按实际语义映射：

• 整数类逻辑标注
  • 标注为INT(8, *)的INT32：对应Hive TINYINT（8位整数）
  • 标注为INT(16, *)的INT32：对应Hive SMALLINT（16位整数）
  • 标注为INT(32, *)的INT32：对应Hive INT（32位整数）
  • 标注为INT(64, *)的INT64：对应Hive BIGINT（64位整数）
  • 标注为UINT_8/UINT_16/UINT_32/UINT_64的无符号整数：低版本Hive无对应无符号类型，会映射为高一档的有符号整数（比如UINT_16映射为INT）避免溢出，Hive 3.x+可直接映射为对应位宽的整数类型
• 数值类逻辑标注
  • 标注为DECIMAL(p, s)的类型：无论底层用INT32（p<=9）、INT64（10<=p<=18）、BYTE_ARRAY/FIXED_LEN_BYTE_ARRAY（p>18）存储，统一对应Hive DECIMAL(p, s)
• 字符串类逻辑标注
  • 标注为STRING的BYTE_ARRAY：对应Hive STRING（UTF-8编码文本）
  • 标注为ENUM的BYTE_ARRAY：对应Hive STRING，枚举值直接存为文本
  • 标注为JSON的BYTE_ARRAY：对应Hive STRING，JSON文本原样存储
  • 标注为UUID的FIXED_LEN_BYTE_ARRAY(16)：Hive无原生UUID类型，默认映射为BINARY，业务侧可通过UDF转为标准UUID格式的STRING
• 时间类逻辑标注
  • 标注为DATE的INT32：对应Hive DATE，值为1970-01-01起的天数偏移
  • 标注为TIMESTAMP(MILLIS, *)的INT64：对应Hive TIMESTAMP
  • 标注为TIMESTAMP(MICROS, *)的INT64：Hive 3.x+对应TIMESTAMP，低版本需手动转码否则会识别为BIGINT
  • 标注为TIMESTAMP(NANOS, *)的INT64：Hive无原生纳秒时间戳类型，默认映射为BIGINT存储原始纳秒值，转TIMESTAMP会损失精度
  • 标注为TIME(*, *)的类型：Hive无原生TIME类型，统一映射为STRING，格式化为HH:mm:ss[.fff/ffffff/fffffffff]
  • 标注为INTERVAL的FIXED_LEN_BYTE_ARRAY(12)：对应Hive INTERVAL，存储年月、天、毫秒三段时间间隔
• 二进制类逻辑标注
  • 标注为BSON的BYTE_ARRAY：对应Hive BINARY，BSON二进制数据原样存储
• 嵌套结构类型
  • LIST：对应Hive ARRAY
  • MAP：对应Hive MAP
  • 自定义结构GROUP：对应Hive STRUCT

兼容性提示：Hive 2.2及更早版本对Parquet新逻辑类型（比如纳秒时间戳、无符号整数）的支持不完善，读取时可能出现类型识别错误、值溢出问题，建议使用Hive 2.3+版本操作带复杂逻辑类型的Parquet文件，必要时可自定义SerDe指定映射规则。

内容的提问来源于stack exchange，提问作者Pavel Orekhov