Spark访问第三方SSL服务（如MongoDB）的证书配置及集群部署问题

针对你遇到的Spark在EMR这类无预部署证书权限的集群中，配置SSL访问MongoDB等服务的问题，我来逐个解答你的疑问：

1. Spark作业能否将truststore/keystore文件推送到所有Executor？ #

完全可以！Spark的--files参数就是用来将本地或分布式存储的文件推送到所有Executor的工作目录中的。但难点在于获取Executor上的绝对路径——毕竟JVM要求SSL配置的是物理路径。

这里有个可靠的解决方法：使用Spark提供的SparkFiles工具类来获取文件的绝对路径。具体步骤如下：

• 提交作业时添加--files参数，比如：

  spark-submit --files ./truststore.jks --class com.your.package.YourApp your-app.jar
  

• 在作业代码中，访问MongoDB之前，通过SparkFiles.get()获取文件的绝对路径，再设置JVM的SSL属性：

  import org.apache.spark.SparkFiles
  
  // 获取Executor上的truststore绝对路径
  val trustStorePath = SparkFiles.get("truststore.jks")
  // 设置JVM SSL属性
  System.setProperty("javax.net.ssl.trustStore", trustStorePath)
  System.setProperty("javax.net.ssl.trustStorePassword", "your-truststore-password")
  

  这样就不用硬编码路径了，SparkFiles会自动返回当前Executor上文件的实际物理路径。

2. 是否有办法在所有Executor上运行任务，将truststore/keystore从统一存储位置复制到Executor的临时文件中？ #

当然可以！你可以利用Spark的分布式计算能力，让每个Executor执行一次文件复制操作，把S3等统一存储中的证书文件下载到本地临时目录。

举个Scala的实现例子：

import java.io.{File, FileOutputStream}
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.spark.SparkContext

def copyCertFromS3ToLocal(sc: SparkContext, s3CertPath: String, localTempPath: String): Unit = {
  // 获取Hadoop文件系统实例，支持s3a协议
  val fs = FileSystem.get(sc.hadoopConfiguration)
  val inputStream = fs.open(new Path(s3CertPath))
  val outputStream = new FileOutputStream(new File(localTempPath))
  
  try {
    // 复制文件内容
    inputStream.transferTo(outputStream)
  } finally {
    // 关闭流资源
    inputStream.close()
    outputStream.close()
  }
}

// 在所有Executor上执行复制与配置
sc.parallelize(1 to sc.defaultParallelism, sc.defaultParallelism).foreach { _ =>
  val tempTrustStore = "/tmp/truststore.jks"
  // 从S3复制到本地临时目录
  copyCertFromS3ToLocal(sc, "s3a://your-bucket/path/truststore.jks", tempTrustStore)
  // 设置JVM SSL属性
  System.setProperty("javax.net.ssl.trustStore", tempTrustStore)
  System.setProperty("javax.net.ssl.trustStorePassword", "your-password")
}

• 这里用sc.defaultParallelism创建对应Executor数量的分区，确保每个Executor至少执行一次复制操作；
• /tmp目录在EMR等集群中通常是有写入权限的，适合存放临时证书文件；
• 可以加个文件存在判断，避免重复复制，提升效率。

3. JVM是否支持配置URI形式的路径，例如javax.net.ssl.trustStore=s3a://path/to/keystore.key？ #

很遗憾，JVM原生不支持这种配置。JVM的SSL实现会把配置的路径当作本地文件系统的路径来解析，如果你传入s3a://这类分布式存储的URI，会直接抛出“文件不存在”的异常。

这是因为JVM的SSLContext默认依赖本地文件系统，没有内置集成Hadoop FileSystem或S3这类分布式存储的访问能力。所以必须将证书文件下载到Executor的本地物理路径，才能让JVM成功加载。

内容的提问来源于stack exchange，提问作者Tal Ben Shabtay