AWS EMR中使用Spark Connect读取S3报错的解决求助

核心原因 #

Spark Connect采用客户端-服务端架构，虽然EMR集群默认支持S3访问，但Spark Connect服务端可能未正确加载Hadoop的S3配置，或你使用了EMR不再推荐的旧版s3://协议。

解决方案 #

1. 切换到EMR推荐的s3a://协议

将读取S3文件的路径从s3://bucket/path/file.parquet改为s3a://bucket/path/file.parquet。s3a是Hadoop官方维护的S3文件系统实现，EMR默认集成且兼容性更好。

2. 客户端启动时传递S3配置参数

启动pyspark时显式指定S3文件系统实现，确保服务端能识别协议：

pyspark --remote "<sc://ip_address_of_master_node>" \
  --conf spark.hadoop.fs.s3.impl=org.apache.hadoop.fs.s3a.S3AFileSystem \
  --conf spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem

3. 确保Spark Connect服务端加载EMR的Hadoop配置

登录EMR主节点，检查Spark Connect服务是否正确读取Hadoop的S3配置：

• 先设置Hadoop配置目录环境变量：

  export HADOOP_CONF_DIR=/etc/hadoop/conf
  

• 重启Spark Connect服务：

  spark-connect stop
  spark-connect start
  

4. 验证EMR集群的S3配置

检查EMR主节点/etc/hadoop/conf/core-site.xml文件，确认存在以下配置项（若缺失则补充）：

<property>
  <name>fs.s3a.impl</name>
  <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
<property>
  <name>fs.s3a.endpoint</name>
  <value>s3.amazonaws.com</value>
</property>

补充后重启Spark Connect服务生效。

5. 在Spark会话中直接配置

如果上述方式无效，可在代码中显式配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder.remote("sc://ip_address_of_master_node") \
    .config("spark.hadoop.fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
    .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
    .getOrCreate()

df = spark.read.parquet("s3a://bucket/path/file.parquet")

内容的提问来源于stack exchange，提问作者Shadowtrooper