PySpark读取Elasticsearch 7.13.4时报SSL证书初始化失败错误

问题根因 #

这个报错的核心原因是JDK版本与Elasticsearch生成的PKCS12证书加密算法不兼容：

• Elasticsearch 7.x版本生成的elastic-certificates.p12证书默认采用PBES2加密算法保护密钥
• 你当前使用的是JDK 8u161之前的版本，该版本的sun.security.pkcs12实现不支持PBES2算法的参数解析，所以在加载p12证书、或者用keytool转换证书格式时都会触发ObjectIdentifier() -- data isn't an object ID的错误

解决方案 #

方案1：升级JDK版本（最推荐） #

将Spark集群所有节点的JDK版本升级到JDK 8u161及以上版本，也可直接升级到JDK11，新版本原生支持PBES2加密的PKCS12证书，升级完成后重启Spark服务，直接复用原来的p12证书即可，无需修改现有代码。

方案2：重新生成兼容旧JDK的PKCS12证书 #

如果暂时无法升级JDK，可以用openssl重新导出兼容旧版本JDK的p12证书，指定用PBES1算法加密：

# 先从原p12证书导出密钥和证书
openssl pkcs12 -in elastic-certificates.p12 -nocerts -nodes -out elastic.key
openssl pkcs12 -in elastic-certificates.p12 -clcerts -nokeys -out elastic.crt

# 用PBES1算法重新生成兼容旧JDK的p12证书
openssl pkcs12 -export -in elastic.crt -inkey elastic.key -out elastic-certificates-compat.p12 -name "elastic-cert" -keypbe PBE-SHA1-3DES -certpbe PBE-SHA1-3DES

生成新的elastic-certificates-compat.p12后，替换代码里的证书路径即可。

方案3：改用JKS格式证书（适配旧JDK） #

如果需要使用JKS格式，可以用上面重新生成的兼容版p12证书转换：

keytool -importkeystore -srckeystore elastic-certificates-compat.p12 -srcstoretype PKCS12 -destkeystore elastic-certificates.jks -deststoretype JKS

转换完成后把代码里的keystore/truststore配置换成jks路径和对应密码即可。

内容的提问来源于stack exchange，提问作者Tad