使用PySpark连接S3时报‘No FileSystem for scheme "s3"’错误求助

问题回顾 #

本地环境构建SparkSession后，尝试读取S3上的Delta表时触发No FileSystem for scheme "s3"错误，已通过boto3验证S3凭证有效，手动放置hadoop-aws jar包未解决问题。

核心解决方案 #

问题根源在于Spark未正确关联S3文件系统实现类，且依赖传递可能存在冲突或缺失，按以下步骤修复：

1. 指定S3文件系统实现类
   Hadoop 3.x版本中，官方推荐使用s3a协议对应的文件系统实现，需在SparkSession配置中明确指定映射关系：

builder = SparkSession.builder \
    .master("local[8]") \
    .appName("test_app") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.session.timeZone", "UTC") \
    # 绑定s3a协议的文件系统实现类
    .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
    # 若使用系统默认AWS凭证链（~/.aws/credentials或环境变量），可省略以下两行
    .config("spark.hadoop.fs.s3a.access.key", "你的AWS_ACCESS_KEY_ID") \
    .config("spark.hadoop.fs.s3a.secret.key", "你的AWS_SECRET_ACCESS_KEY")

2. 统一依赖传递方式，避免冲突
   移除builder中重复的spark.jars.packages配置，仅通过configure_spark_with_delta_pip的extra_packages传递hadoop-aws依赖，确保版本与本地Hadoop一致（比如本地Hadoop是3.3.5，就对应使用3.3.5版本）：

spark = configure_spark_with_delta_pip(builder, extra_packages=["org.apache.hadoop:hadoop-aws:3.3.5"]) \
    .enableHiveSupport() \
    .getOrCreate()

3. 改用s3a协议路径读取
   将读取路径改为s3a://<delta_table_path>，这是Hadoop 3.x及Spark官方推荐的S3访问方式，兼容性更强：

df = spark.read.load("s3a://<delta_table_path>")

4. 验证依赖完整性
   手动放置jar包容易缺失hadoop-aws依赖的附属包（如aws-java-sdk-bundle），通过Spark的包管理机制自动拉取能确保所有依赖齐全。若仍有问题，可检查Spark日志中是否有依赖加载失败的提示。

补充配置方式 #

若本地Hadoop配置了core-site.xml，可直接在该文件中添加全局配置，无需在Spark代码中重复设置：

<property>
    <name>fs.s3.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
<property>
    <name>fs.s3a.access.key</name>
    <value>你的AWS_ACCESS_KEY_ID</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <value>你的AWS_SECRET_ACCESS_KEY</value>
</property>

内容的提问来源于stack exchange，提问作者Julie LACHAUD