Spark Operator对接开启SSL的本地Minio S3拉取应用JAR失败如何解决

• 端点协议不匹配：Minio开启SSL后需使用https协议访问，当前配置的S3端点仍为http前缀，直接触发400错误
• 证书配置范围缺失：仅配置了Executor进程的JVM SSL参数，未配置Driver进程的对应参数，而拉取S3存储中的主JAR包是Driver启动阶段的动作，无法读取Executor的配置
• 配置作用域混淆：spark.ssl.server.*系列参数用于配置Spark自身服务（UI、内部RPC等）的SSL能力，Hadoop S3A文件系统客户端无法读取该类配置，因此不生效
• 缺少S3A客户端专属SSL配置：未显式开启S3A的SSL连接能力

1. 修改S3访问端点协议
   将spark.hadoop.fs.s3a.endpoint配置值的前缀从http替换为https
2. 补充Driver端JVM SSL参数
   在sparkConf中新增Driver进程的Java选项，配置信任库路径与密码：

"spark.driver.extraJavaOptions": "-Djavax.net.ssl.trustStore=/mnt/config-maps/cacerts -Djavax.net.ssl.trustStorePassword=changeit"

注：如果你的自签名证书是导入到信任库使用，建议将原配置中的keyStore参数替换为trustStore，前者用于客户端向服务端证明身份，后者用于信任服务端的自签名证书，符合当前场景的使用逻辑
3. 新增S3A客户端SSL配置
在sparkConf中添加以下配置，显式开启S3A的SSL支持：

"spark.hadoop.fs.s3a.connection.ssl.enabled": "true"
# 测试环境如果出现证书主机名不匹配报错，可添加以下配置关闭主机名校验，生产环境不建议开启
"spark.hadoop.fs.s3a.ssl.endpoint.identification.algorithm": ""

4. 清理无效配置
   如果不需要开启Spark自身服务的SSL，可删除spark.ssl.server.*系列配置，避免不必要的配置冲突

该使用场景是Spark + Spark Operator的原生支持能力，完成上述配置调整后，即可正常从开启SSL的Minio中拉取主应用JAR包、读写S3数据。

内容的提问来源于stack exchange，提问作者Ayush Goyal