使用spark2-shell无法访问S3路径下ORC文件创建DataFrame

核心问题分析 #

提示路径不存在但实际存在，结合警告信息，主要问题集中在S3文件系统配置兼容性及连接参数设置上：

• 警告S3FileSystem is deprecated说明当前Spark环境可能仍在调用旧的S3文件系统实现，而非推荐的S3AFileSystem，这会导致路径解析异常。
• 无响应大概率是Spark无法与S3端点建立有效连接，要么是参数配置错误，要么是权限问题导致超时。

具体修复步骤 #

1. 正确配置S3AFileSystem参数 #

不要通过sc.hadoopConfiguration事后设置参数，直接在SparkSession初始化时配置，避免部分Spark版本不生效：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Read ORC from S3")
  .config("fs.s3a.access.key", "ABC")
  .config("fs.s3a.secret.key", "2ju0jzWo/ABC")
  .config("fs.s3a.endpoint", "https://abc") // 注意改成小写https，避免大小写问题
  .config("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") // 强制指定使用S3AFileSystem
  .getOrCreate()

2. 检查端点URL与路径正确性 #

• 确认endpoint URL格式：去掉末尾斜杠，使用小写https://，确保是S3兼容存储的正确地址（比如AWS区域端点、MinIO地址等）。
• 核对S3路径拼写：S3路径是大小写敏感的，桶名、目录层级别写错大小写。
• 用CLI工具验证路径可访问：比如用AWS CLI测试，排除权限或路径本身的问题：

  aws s3 ls s3://rcemqe-24-45ae3433-0511-459e-bdaf-7f1348f9d8d0/user/rcem1403/output/mapsig/combine/rcem_map_sccp_lean_min/usecasename=rcem_map_min/finalcubebintime=1650532150/gran=FifteenMinutes/ --endpoint-url=https://abc
  

3. 验证权限 #

确保你的access_key和secret_key拥有该S3路径的读权限，比如检查AWS IAM策略（如果是AWS S3）或存储端的权限配置。

4. 处理无关警告（可选） #

• 针对Lineage directory警告：创建对应目录并赋予Spark运行用户读写权限：

  mkdir -p /var/log/spark2/lineage
  chown spark:spark /var/log/spark2/lineage
  chmod 755 /var/log/spark2/lineage
  

• FileStreamSink警告属于流处理相关，你这里是读ORC文件，不影响核心功能，可直接忽略。

5. 重新测试读取 #

修改配置后重新执行读取代码，用df.show()验证数据是否正常加载：

val df = spark.read.orc("s3a://rcemqe-24-45ae3433-0511-459e-bdaf-7f1348f9d8d0/user/rcem1403/output/mapsig/combine/rcem_map_sccp_lean_min/usecasename=rcem_map_min/finalcubebintime=1650532150/gran=FifteenMinutes/")
df.show()

内容的提问来源于stack exchange，提问作者Abhinandan