Spark读取Hive外部表遇PlainIntegerDictionary错误，如何排查？

问题背景 #

通过Spark将DataFrame写入Parquet路径：

dataframe.coalesce(n_files).write.option("mergeSchema", "true").mode("overwrite").parquet(table_path)

直接读取该Parquet路径时正常：

df = spark.read.option("mergeSchema", "True").parquet("/hdfs path to parquets")

但通过Hive外部表读取并执行.show()时，抛出错误：

java.lang.UnsupportedOperationException: parquet.column.values.dictionary.PlainValuesDictionary$PlainIntegerDictionary
at parquet.column.Dictionary.decodeToLong(Dictionary.java:52)

限制条件：无法使用saveAsTable，必须直接写入路径；怀疑问题与Hive外部表属性相关。

一、定位报错的根源列 #

1. 逐列排查 #

通过select单独查询每一列并执行.show()，哪个列触发错误即为根源列；也可以分组查询列（比如先查前半部分列，再查后半部分）缩小范围。

2. 解析Parquet元数据 #

使用parquet-tools工具查看列的存储细节，对比Hive表定义的类型：

# 查看指定列的元数据
parquet-tools meta --column <列名> <HDFS路径>

重点确认列的实际存储类型（如int）与Hive表定义的类型（如bigint）是否一致，字典编码的启用状态也需关注。

3. 开启Spark调试日志 #

在Spark配置中添加：

log4j.logger.org.apache.parquet=DEBUG

重新执行读取操作，日志会打印处理到哪一列时抛出错误，直接定位目标列。

二、检查Hive外部表的关键属性 #

1. 表结构一致性 #

执行DESCRIBE FORMATTED <表名>查看Hive表的列类型，和直接读取Parquet得到的DataFrame的df.printSchema()输出对比，确保类型完全匹配（比如Hive定义为bigint但Parquet实际是int，会触发字典解码错误）。

2. SerDe配置 #

• 确认表使用的SerDe为org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe，其他SerDe可能无法正确解析Parquet字典编码。
• 查看SerDe参数：执行DESCRIBE FORMATTED <表名>，检查SerDe Parameters部分，确保serialization.format、parquet.compression等参数与写入时一致。

3. 存储与路径配置 #

• 确认表设置了STORED AS PARQUET，且LOCATION指向正确的HDFS路径，无旧文件或错误路径干扰。
• 检查表的TBLPROPERTIES，若存在parquet.schema.merge，需确保其值为true（与写入时的mergeSchema=true匹配）。

4. 分区表额外检查（若适用） #

• 确认分区列的类型与Parquet分区目录的命名格式一致，Hive定义的分区列类型需与实际存储的分区值类型匹配。

三、修复建议 #

1. 写入时明确列类型：确保DataFrame的列类型与Hive表定义完全一致，避免隐式类型转换。
2. 临时关闭字典编码：若确认是字典编码导致的问题，可在写入时添加参数临时关闭（不建议长期使用，会影响存储效率）：

dataframe.coalesce(n_files).write.option("mergeSchema", "true")\
    .option("parquet.enable.dictionary", "false")\
    .mode("overwrite").parquet(table_path)

3. 刷新Hive元数据：执行REFRESH TABLE <表名>，若为分区表则执行MSCK REPAIR TABLE <表名>，确保元数据与实际文件同步。

内容的提问来源于stack exchange，提问作者Ayush Goyal