Apache Spark连接带自签名证书的MinIO（S3）失败，求解决方案

我之前确实碰到过类似的场景，结合我的排查经验，给你几个可以尝试的解决方向：

1. 验证信任库的挂载与权限 #

你已经把信任库做成K8s Secret挂载到Spark Pod里了，但首先要确认这个挂载是否生效：

• 进入Spark Driver Pod执行命令，检查信任库文件是否存在于指定路径：

  ls -l /opt/spark/conf/minio/truststore/truststore.jks
  

• 确保文件权限允许Spark进程读取（一般设置为644即可），如果权限不对，可以在Secret挂载时指定defaultMode: 0644。

2. 确认证书导入的正确性 #

有时候导入的证书可能和MinIO实际使用的不匹配，或者导入过程有问题：

• 列出信任库中的证书，确认目标证书存在：

  keytool -list -keystore truststore.jks -storepass <minioTruststorePass>
  

• 对比MinIO证书的指纹和信任库中证书的指纹是否一致：

  # 查看MinIO证书指纹
  openssl x509 -in tls.crt -fingerprint -noout
  # 查看信任库中证书的指纹（需要先导出证书）
  keytool -export -alias tls -keystore truststore.jks -file exported.crt -storepass <minioTruststorePass>
  openssl x509 -in exported.crt -fingerprint -noout
  

3. 清理Spark配置中的冗余与冲突项 #

你的配置里存在一些可能导致冲突的内容：

• 移除s3相关的配置（比如spark.hadoop.fs.s3.awsAccessKeyId），因为你使用的是s3a文件系统，这些配置属于旧的s3实现，会干扰配置逻辑。
• 删除重复的spark.hadoop.fs.s3a.impl配置，只保留一次即可。

调整后的核心配置应该类似：

spark.hadoop.fs.s3a.endpoint https://smart-agriculture-minio:9000
spark.hadoop.fs.s3a.access.key <s3aAccessKey>
spark.hadoop.fs.s3a.secret.key <s3aSecretKey>
spark.hadoop.fs.s3a.path.style.access true
spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem
spark.hadoop.fs.s3a.connection.ssl.enabled true

4. 补充Hadoop S3A的SSL专属配置 #

除了JVM层面的javax.net.ssl.trustStore参数，Hadoop的S3A客户端可能需要单独指定SSL信任库配置，添加以下参数到spark-defaults.conf：

spark.hadoop.fs.s3a.ssl.truststore /opt/spark/conf/minio/truststore/truststore.jks
spark.hadoop.fs.s3a.ssl.truststore.password <minioTruststorePass>

这一步很关键，因为部分Hadoop版本的S3A客户端不会默认继承JVM的SSL信任库设置。

5. 开启调试日志定位具体错误 #

如果以上步骤都没解决问题，开启Spark的DEBUG日志来抓SSL握手的详细错误：
添加配置到spark-defaults.conf：

spark.driver.log.level=DEBUG
spark.executor.log.level=DEBUG
spark.hadoop.fs.s3a.connection.log.enabled=true

然后查看Driver和Executor的日志，重点找SSLHandshakeException相关的信息，比如“unable to find valid certification path to requested target”或者证书不匹配的提示，这些能直接指向问题根源。

6. 验证MinIO服务的可达性（可选） #

虽然你之前未启用TLS时能连接，但还是可以在Spark Pod内测试MinIO的HTTPS端点是否正常：

curl -v --cacert /opt/spark/conf/minio/truststore/truststore.jks https://smart-agriculture-minio:9000

如果curl能正常返回MinIO的响应，说明网络和证书本身没问题，问题大概率在Spark的配置上。

内容的提问来源于stack exchange，提问作者Yassir S