通过Spark和Scala读取AWS S3中.conf文件遇错求助

你这是踩了Typesafe Config的一个常见小坑——ConfigFactory.load()方法默认是从**类路径（classpath）**加载配置资源，它并不支持直接读取S3这类远程存储上的文件。直接把S3路径传给它，程序根本找不到对应的配置文件，自然就会抛出找不到spark配置项的错误。

下面给你两种可行的解决思路，核心都是先手动把S3上的.conf文件内容读成字符串，再用Typesafe Config解析这个字符串：

方法1：用AWS SDK直接读取S3文件（适合独立Scala应用） #

如果你的应用是独立运行的，没有依赖Hadoop/Spark环境，可以用AWS SDK来读取S3文件内容：

首先确保项目里添加了AWS SDK v2的依赖（比如在build.sbt中）：

libraryDependencies += "software.amazon.awssdk" % "s3" % "2.20.0"

然后用以下代码实现：

import software.amazon.awssdk.services.s3.S3Client
import software.amazon.awssdk.services.s3.model.GetObjectRequest
import com.typesafe.config.{Config, ConfigFactory}
import java.io.ByteArrayOutputStream

// 初始化S3客户端（会自动读取环境变量、凭证文件等默认凭证）
val s3Client = S3Client.create()

// 构建获取S3对象的请求
val getObjectReq = GetObjectRequest.builder()
  .bucket("<bucket_name>")
  .key("aws.conf") // S3文件的key，即文件在桶内的路径
  .build()

// 读取文件内容到字符串
val outputStream = new ByteArrayOutputStream()
s3Client.getObject(getObjectReq, software.amazon.awssdk.core.sync.ResponseTransformer.toOutputStream(outputStream))
val configContent = outputStream.toString("UTF-8")

// 解析配置字符串并获取目标配置项
val config = ConfigFactory.parseString(configContent)
val lineageKey = config.getString("spark.lineage.key")

方法2：用Hadoop FileSystem读取（适合Spark环境） #

如果你的代码运行在Spark集群里，已经有Hadoop依赖了，用Hadoop的FileSystem会更方便：

import org.apache.hadoop.fs.{FileSystem, Path}
import com.typesafe.config.{Config, ConfigFactory}
import java.io.{BufferedReader, InputStreamReader}

// 获取Hadoop文件系统实例（自动识别s3n/s3a协议）
val fs = FileSystem.get(new org.apache.hadoop.conf.Configuration())
val s3Path = new Path("s3n://<bucket_name>/aws.conf")

// 读取文件内容
val inputStream = fs.open(s3Path)
val reader = new BufferedReader(new InputStreamReader(inputStream))
val configContent = Iterator.continually(reader.readLine()).takeWhile(_ != null).mkString("\n")

// 关闭资源
reader.close()
inputStream.close()

// 解析配置并获取值
val config = ConfigFactory.parseString(configContent)
val lineageKey = config.getString("spark.lineage.key")

额外检查点 #

最后别忘了确认你的aws.conf文件里确实存在正确的配置结构，比如：

spark {
  lineage {
    key = "your-actual-key-value"
  }
}

如果文件本身就没有这个配置项，那不管怎么读都会报错哦。

内容的提问来源于stack exchange，提问作者Ankit90