AWS Glue中Spark通过SSL连接Cassandra失败问题求助

问题根因 #

报错的核心原因是Datastax Cassandra Java驱动内置的DefaultSslEngineFactory仅支持读取本地文件系统路径的truststore文件，无法直接识别S3协议路径。虽然你的Spark作业有权限读取S3资源，但驱动读取truststore时调用的是JDK原生的NIO文件接口，不会复用Spark的Hadoop文件系统适配能力，因此直接填写S3路径会抛出文件不存在异常。

可行解决方案 #

• 方案1：通过作业参数分发证书文件（推荐，适配你当前使用的AWS Glue环境）
  提交Glue作业时添加--extra-files参数，指定S3上的truststore文件路径：

  --extra-files s3://dev-code/certs/trust.jks
  

  该参数会自动将S3上的jks文件同步到Driver和所有Executor的运行时工作目录，之后修改Spark配置中的truststore路径为本地相对路径即可：

  .config("spark.cassandra.connection.ssl.trustStore.path","./trust.jks")
  

• 方案2：自建Spark集群的分发方式
  如果是自建Spark集群，提交作业时添加--files参数即可实现同样的分发效果：

  spark-submit --files s3://dev-code/certs/trust.jks 你的其他作业参数
  

  后续配置truststore路径同样使用./trust.jks即可。

• 方案3：自定义SSL引擎工厂（适合特殊场景）
  如果你确实需要直接从S3读取证书，可以自行实现SslEngineFactory接口，在实现类中调用Hadoop FileSystem的API读取S3上的jks文件构建SSL上下文，然后在Spark配置中指定你自定义的实现类：

  .config("spark.cassandra.connection.ssl.engineFactoryClass", "你自定义类的全限定名")
  

内容的提问来源于stack exchange，提问作者Anbinson