Spark写单个CSV到S3出现java.lang.UnsatisfiedLinkError问题咨询

你遇到的java.lang.UnsatisfiedLinkError是Windows环境下Hadoop原生依赖缺失或配置错误导致的，可按以下步骤修复：

• 确认winutils、hadoop.dll版本与你使用的Hadoop 2.7.4完全匹配，将两个文件放入%HADOOP_HOME%\bin目录，同时配置系统环境变量HADOOP_HOME指向Hadoop根目录，把%HADOOP_HOME%\bin加入系统PATH，配置完成后重启运行环境生效。
• 若配置后仍报错，可添加配置禁用Hadoop原生库调用绕过检查：

spark.sparkContext._jsc.hadoopConfiguration().set("hadoop.native.lib", "false")

• 手动指定Spark本地临时目录到当前Windows用户有完全读写权限的路径，避免目录权限问题：

spark = SparkSession.builder.config("spark.local.dir", "D:\\spark_temp") # 替换为你有权限的本地目录

1. PySpark写单个CSV到S3的性能对比 #

分场景判定性能差异：

• 若数据是Spark分布式处理生成、量级在GB级以上，直接用Spark写S3性能远优于boto3：无需把全量数据拉到Driver本地，可由各节点直接分布式写入S3，不会有单节点带宽瓶颈。
• 若用repartition(1)强制生成单个CSV，所有数据会落到单节点处理，此时会出现单节点性能瓶颈，数据量大时性能反而不如boto3。如果必须输出单个CSV，更推荐先让Spark分布式写多个CSV分片到S3，再调用S3分片合并接口或工具合并文件，性能远高于单节点repartition方案。
• 小数据量场景下，Spark因为调度开销，写入性能反而不如直接用boto3。

2. 当前配置与思路的误区 #

存在4个常见误区：

• 依赖版本适配问题：aws-java-sdk 1.7.4版本过老，对S3 V4签名支持存在bug，和hadoop-aws 2.7.4的适配也有兼容性问题，建议升级到aws-java-sdk 1.11.x系列匹配版本。
• repartition(1)的使用误区：该操作会将全量数据shuffle到同一个分区，不仅浪费Spark分布式优势，数据量大时极易出现单节点OOM。
• 重复配置覆盖问题：你对spark.driver.extraJavaOptions、spark.executor.extraJavaOptions做了两次配置，后配置的S3 V4参数会覆盖之前的时区参数，导致时区配置不生效。正确写法是将多个参数合并到同一条配置中：

.config("spark.driver.extraJavaOptions", "-Duser.timezone=GMT -Dcom.amazonaws.services.s3.enableV4=true")
.config("spark.executor.extraJavaOptions", "-Duser.timezone=GMT -Dcom.amazonaws.services.s3.enableV4=true")

• 环境选择误区：Windows不是Spark的生产级运行环境，Hadoop原生组件对Windows的支持不完善，测试阶段容易遇到各类原生依赖问题，生产使用建议切换到Linux环境。

内容的提问来源于stack exchange，提问作者no-stale-reads