Apache Spark写入snappy压缩格式Parquet文件报错问题咨询

根因分析 #

• 依赖版本冲突：Spark 3.0.2 默认内置的snappy-java版本为1.1.7.3，与你手动引入的snappy-java-1.1.8.2、Hadoop 3.2.2内置的snappy依赖三者版本不匹配，类加载时出现冲突。
• Hadoop原生Snappy库缺失：Hadoop 3.2.2 未正确安装对应版本的snappy原生依赖，Spark调用压缩逻辑时无法找到本地库，回退到Java层snappy实现时又触发版本兼容问题。
• OpenJDK JNI调用限制：部分java-1.8.0-openjdk的小版本存在JNI方法调用权限限制，导致snappy的本地压缩方法无法正常被调用。

可行解决方案 #

1. 统一snappy依赖版本
   优先移除手动引入的snappy-java-1.1.8.2，使用Spark 3.0.2 默认携带的snappy版本即可。如果必须使用1.1.8.2版本，提交任务时显式指定全局依赖路径，避免版本冲突：

spark-submit \
--conf spark.driver.extraClassPath=/path/to/snappy-java-1.1.8.2.jar \
--conf spark.executor.extraClassPath=/path/to/snappy-java-1.1.8.2.jar \
your_script.py

2. 校验并修复Hadoop原生Snappy库
   在所有集群节点执行命令校验native库状态：

hadoop checknative -a

如果输出中snappy项为false，则安装对应Hadoop 3.2.2版本的snappy原生库，之后提交任务时添加环境变量配置：

--conf spark.executorEnv.LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

3. 代码配置优化
   初始化SparkSession时显式声明压缩配置，避免默认参数不生效问题：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("spark.sql.parquet.compression.codec", "snappy") \
    .config("spark.io.compression.codec", "snappy") \
    .getOrCreate()

# 写入时无需重复指定compression参数
df.write.mode("overwrite").partitionBy(part_labels).parquet(output_path)

4. 临时兜底验证
   如果需要先验证写入逻辑本身无问题，可以临时替换压缩格式验证：

df.write.option("compression", "gzip").mode("overwrite").partitionBy(part_labels).parquet(output_path)

内容的提问来源于stack exchange，提问作者Moksha