如何从Pandas DataFrame导出Parquet文件以避免Spark执行Join时出现PlainDoubleDictionary报错

看起来你碰到的是Spark 2.x版本里一个挺常见的Parquet字典编码兼容性问题，我来帮你拆解下：

问题根源 #

你的报错java.lang.UnsupportedOperationException: parquet.column.values.dictionary.PlainValuesDictionary$PlainDoubleDictionary，本质是Pandas导出Parquet时，对Price这个double类型字段使用了字典编码存储，但Spark 2.4.x的Parquet解析器在处理字典编码的数值类型（尤其是涉及double转long的场景）时存在bug，当你执行groupBy、Join这类需要解码字典或类型转换的操作时就会触发这个异常。

解决方案：导出Parquet时禁用字典编码 #

你之前的导出参数只调整了压缩方式和引擎，但没禁用字典编码，这就是问题没解决的原因。直接在导出时指定禁用字典编码即可，推荐用pyarrow引擎来做，因为它的Parquet兼容性更好：

# 推荐的导出命令，禁用所有字段的字典编码
df.to_parquet(
    filepath,
    compression='gzip',
    engine='pyarrow',
    index=False,
    use_dictionary=False  # 关键参数：关闭字典编码
)

如果想更精准地控制（只给字符串字段保留字典编码，排除数值字段），也可以这样设置：

df.to_parquet(
    filepath,
    compression='gzip',
    engine='pyarrow',
    index=False,
    use_dictionary=['Date', 'dept', 'category']  # 仅给指定字符串字段启用字典编码
)

额外注意事项 #

1. Spark版本限制：Spark 2.4.x的Parquet处理确实存在这类字典编码的兼容性问题，如果后续有条件，升级到Spark 3.x版本可以从根本上解决这类问题，因为3.x对Parquet的字典编码支持更完善。
2. PyArrow版本适配：由于你的Spark版本是2.4.0.cloudera2，建议使用PyArrow 0.15.x-0.17.x左右的版本，太新的PyArrow导出的Parquet可能包含Spark 2.4不支持的新特性，容易引发其他兼容性问题。
3. 验证Schema一致性：导出后重新用Spark读取，确认Price字段依然是double类型，没有被意外转换，再执行groupBy和Join操作，应该就能正常运行了。

内容的提问来源于stack exchange，提问作者pol