Spark从EC2读取S3文件时遭遇“No FileSystem for scheme "s3"”错误的技术求助

首先帮你理清几个关键点，再一步步解决问题：

1. 关于local[3]的含义 #

--master local[3]是指定Spark以本地模式运行，其中3表示Spark会使用3个CPU核心并行处理任务；如果换成local[*]，则会自动占用当前机器的所有可用核心。你之前遇到的Java gateway process exited before sending the driver its port number异常，通常是因为Spark默认尝试连接集群但未正确配置，指定本地master参数后，就能让Spark在本地初始化运行环境，解决启动失败的问题。

2. 核心问题：S3文件系统不支持的原因 #

你碰到的org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "s3"错误，本质是Spark的Hadoop客户端缺少处理S3协议的依赖包，且你之前的尝试存在几个关键问题：

• 依赖版本与Spark对应的Hadoop版本不兼容
• 凭证配置参数写错了（这是隐藏的坑，后续会说明）
• 依赖包组合不完整

3. 分步解决方案 #

第一步：确认你的Spark+Hadoop版本 #

先在命令行执行spark-submit --version，查看Spark对应的Hadoop版本（比如Spark 3.1.x通常对应Hadoop 3.2.x，Spark 2.4.x对应Hadoop 2.7.x），后续的依赖版本必须和这个匹配。

第二步：正确配置PYSPARK_SUBMIT_ARGS #

把--master和--packages参数正确组合，确保依赖包版本匹配。比如如果你的Spark对应Hadoop 3.2.x，配置如下：

os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[3] --packages org.apache.hadoop:hadoop-aws:3.2.2,com.amazonaws:aws-java-sdk-bundle:1.11.901 pyspark-shell"

• hadoop-aws是Hadoop处理S3协议的核心依赖
• aws-java-sdk-bundle包含了AWS SDK的所有必要模块，避免单独依赖多个jar包的麻烦

第三步：修正S3凭证配置的错误 #

你之前的代码里犯了一个低级错误：把SecretAccessKey也配置到了fs.s3.access.key参数里，正确的参数应该是fs.s3.secret.key！修正后的配置代码：

import os
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
hadoop_conf = spark.sparkContext._jsc.hadoopConfiguration()
hadoop_conf.set('fs.s3.access.key', credentials['AccessKeyId'])
# 这里修正参数名
hadoop_conf.set('fs.s3.secret.key', credentials['SecretAccessKey'])

第四步：尝试读取S3文件（可选：改用s3a协议） #

有些版本的Hadoop对s3://协议的支持不如更新的s3a://协议，你可以试试把文件路径改成s3a://url/3521.gz，同时可按需添加s3a的端点配置：

hadoop_conf.set('fs.s3a.endpoint', 's3.amazonaws.com')
df = spark.read.json(['s3a://url/3521.gz', 's3a://url/2734.gz'])

4. 为什么之前的尝试无效？ #

• 版本不兼容：比如你用了hadoop-aws:2.7.2但你的Spark对应的Hadoop是3.x，版本不匹配会导致依赖无法正常加载
• 依赖缺失：单独添加hadoop-aws还需要AWS SDK的支持，aws-java-sdk-bundle能一次性解决所有依赖
• 凭证参数错误：虽然这个不会直接导致FileSystem异常，但即使依赖正确，后续也会出现认证失败的问题

另外，你提到的o37.json是Py4J自动生成的内部对象标识，确实和问题无关，不用在意。

额外注意事项 #

• 如果你的EC2实例已经绑定了具有S3访问权限的IAM角色，那么甚至不需要手动配置access key和secret key，Spark会自动通过IAM角色获取权限
• 如果用--jars方式添加依赖，要确保所有相关的jar文件都存在且路径正确，相比之下--packages会自动下载并管理依赖，更推荐使用

内容的提问来源于stack exchange，提问作者rudolfovic