PySpark读取S3桶多分区Parquet文件报错问题求助

嘿，这个错误我之前也碰到过！PlainBinaryDictionary相关的UnsupportedOperationException通常是Parquet文件的字典编码和你的Spark版本不兼容，或者读取方式、路径配置有问题，给你几个实用的排查和解决步骤：

1. 换用DataFrame API替代SQL语法读取 #

你当前用的SQL语法虽然可行，但有时候对分区路径的解析不如DataFrame API稳定，试试这种写法：

# 直接读取根目录，Spark会自动识别dt分区列
df = sqlContext.read.parquet("s3n://<s3path>/")
df.show(2)

# 如果非要指定具体文件路径，也可以这么写
df = sqlContext.read.parquet("s3n://<s3path>/dt=*/*.snappy.parquet")
df.show(2)

这种方式能避免SQL解析路径时可能出现的异常，同时Spark会自动处理分区列，不用手动在路径里过滤。

2. 检查S3路径协议 #

s3n是比较旧的S3文件系统协议，有时候会有兼容性问题，换成s3a或者s3试试：

df = sqlContext.read.parquet("s3a://<s3path>/")

注意：如果用s3a，需要确保你的Spark环境已经包含hadoop-aws相关依赖包，不然会报错。

3. 排查Spark与Parquet版本兼容性 #

这个错误很大概率是版本不兼容导致的：

• 如果你用的是Spark 1.x版本，它对新版Parquet的字典编码支持有限，建议升级到Spark 2.0+版本；
• 检查生成Parquet文件的工具版本，比如如果是用较新的Pandas或Spark版本生成的，旧版Spark读取时就会出现这类编码不支持的问题。

4. 禁用字典编码读取（临时 workaround） #

如果暂时没法升级版本，可以尝试在读取时禁用字典编码支持：

df = sqlContext.read.option("parquet.enable.dictionary", "false").parquet("s3n://<s3path>/")

这个参数会让Spark跳过字典编码的解析，直接读取原始数据，但可能会影响读取性能，建议作为临时解决方案。

5. 排查单个分区文件 #

有可能是某个分区的Parquet文件损坏了，你可以先尝试读取单个分区的文件，比如：

df = sqlContext.read.parquet("s3n://<s3path>/dt=20240101/*.snappy.parquet")
df.show(2)

如果某个分区报错，就定位到该分区的文件，检查是否损坏或者生成时有没有异常。

内容的提问来源于stack exchange，提问作者NewBee