使用PySpark读取S3文件时触发java.lang.IllegalArgumentException错误

我来帮你梳理这个问题，从错误栈来看，核心是java.lang.IllegalArgumentException在ThreadPoolExecutor初始化时抛出，根源出在S3A文件系统的初始化环节。结合你的代码和环境信息，整理了几个针对性的解决方向：

1. 补全S3A依赖Jar包 #

Spark 2.3.0搭配Hadoop 2.7时，默认的S3A支持缺少部分关键依赖，这是导致初始化失败的常见原因。你需要确保以下Jar包存在于Spark的jars目录，或者在启动PySpark时通过--jars参数引入：

• hadoop-aws-2.7.x.jar（版本需匹配你的Hadoop 2.7）
• aws-java-sdk-1.7.4.jar（Hadoop 2.7对应此版本的AWS SDK）
• aws-java-sdk-core-1.7.4.jar
• aws-java-sdk-s3-1.7.4.jar

这些Jar包负责S3A客户端的核心功能，缺失会直接导致文件系统初始化失败。

2. 修正Spark上下文初始化方式 #

你的代码里SQLContext的初始化方式不够规范，Spark 2.0+推荐使用SparkSession统一管理上下文，能避免潜在的配置传递问题。调整后的代码如下：

from pyspark.sql import SparkSession
import pyspark.sql.functions as fn

# 初始化SparkSession并配置S3参数
spark = SparkSession.builder \
    .appName("Full PSGL Aggregation - PySpark") \
    .config("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
    .config("fs.s3a.access.key", "your_access_key") \
    .config("fs.s3a.secret.key", "your_secret_key") \
    .config("fs.s3a.endpoint", "http://your_endpoint:8020") \
    .getOrCreate()

# 读取S3中的CSV文件
df = spark.read.csv("s3a://my_bucket/my_folder/test_data.csv")
print(df.show())

3. 验证S3端点与额外配置 #

如果你的存储是S3兼容服务（比如MinIO），需要确认端点配置的正确性：

• 检查协议（http/https）、端口是否与服务匹配
• 若使用MinIO，需添加fs.s3a.path.style.access=true配置（MinIO默认采用路径式访问）
• 确保端点地址没有多余的后缀（比如末尾的/）

4. 验证Hadoop环境下的S3访问权限 #

虽然Boto3能连接，但PySpark依赖Hadoop的S3A客户端，权限验证逻辑不同。可以先在Spark所在环境执行Hadoop命令测试访问：

hadoop fs -ls s3a://my_bucket/my_folder/

如果命令执行失败，说明凭证或权限配置存在问题，优先解决这个再回到PySpark代码。

5. 确认依赖版本兼容性 #

你的Java 1.8.0_66版本是兼容Spark 2.3.0的，但要确保所有引入的Jar包都是基于Java 8编译的，避免版本冲突导致的初始化异常。

内容的提问来源于stack exchange，提问作者mradul