如何更新Mac上PyCharm中运行的PySpark所用的Java密钥库？

针对你在Mac上PyCharm+virtualenv环境下的PySpark场景，这里有几种可靠的方法来更新Java密钥库，让Spark/Hadoop能信任所需的证书（比如S3相关证书）：

方法1：更新Java默认全局密钥库（全局生效） #

如果希望所有Java应用（包括你的PySpark）都使用更新后的密钥库，可以修改Java默认的cacerts文件：

1. 找到你的Java安装路径下的密钥库位置，Mac上默认路径类似：

   /Library/Java/JavaVirtualMachines/jdk1.8.xxx.jdk/Contents/Home/jre/lib/security/cacerts
   

   （如果你的Spark使用的是virtualenv关联的Java，需要确认对应的JAVA_HOME路径）
2. 使用keytool命令导入目标证书，比如导入S3的根证书：

   sudo keytool -importcert -file /path/to/your/s3-cert.pem -alias aws-s3-root -keystore /path/to/cacerts -storepass changeit
   

   这里changeit是Java默认密钥库的密码，执行时需要输入sudo密码获取修改权限。
3. 验证导入是否成功：

   keytool -list -keystore /path/to/cacerts -alias aws-s3-root
   

方法2：给PySpark指定自定义密钥库（仅当前应用生效） #

如果不想修改全局密钥库，可以通过Spark配置指定自定义的密钥库，这样只会影响你的PySpark程序：

方式A：修改PYSPARK_SUBMIT_ARGS #

在设置环境变量时添加JVM参数：

import os
# 自定义密钥库路径和密码
truststore_path = "/absolute/path/to/your/custom-truststore.jks"
truststore_pass = "your-truststore-password"

os.environ['PYSPARK_SUBMIT_ARGS'] = f'--packages "org.apache.hadoop:hadoop-aws:2.7.3" \
--conf "spark.driver.extraJavaOptions=-Djavax.net.ssl.trustStore={truststore_path} -Djavax.net.ssl.trustStorePassword={truststore_pass}" \
--conf "spark.executor.extraJavaOptions=-Djavax.net.ssl.trustStore={truststore_path} -Djavax.net.ssl.trustStorePassword={truststore_pass}" \
pyspark-shell'

方式B：通过SparkConf配置 #

在构建SparkConf时直接添加相关配置：

from pyspark import SparkConf, SparkContext

truststore_path = "/absolute/path/to/your/custom-truststore.jks"
truststore_pass = "your-truststore-password"

conf = SparkConf() \
    .setMaster("local[2]") \
    .setAppName("pyspark-unittests") \
    .set("spark.sql.parquet.compression.codec", "snappy") \
    .set("spark.driver.extraJavaOptions", f"-Djavax.net.ssl.trustStore={truststore_path} -Djavax.net.ssl.trustStorePassword={truststore_pass}") \
    .set("spark.executor.extraJavaOptions", f"-Djavax.net.ssl.trustStore={truststore_path} -Djavax.net.ssl.trustStorePassword={truststore_pass}")

sc = SparkContext(conf=conf)

注意：如果是local模式，Driver和Executor是同一个进程，理论上只设置spark.driver.extraJavaOptions也能生效，但同时配置两者更稳妥，避免后续切换集群模式时出现问题。

方法3：在PyCharm调试时设置环境变量 #

如果你只是在PyCharm中调试程序，可以直接在Run/Debug配置里添加环境变量：

1. 打开PyCharm的Run > Edit Configurations
2. 找到你的PySpark脚本对应的配置项
3. 在Environment Variables区域，添加如下变量：

   JAVA_TOOL_OPTIONS=-Djavax.net.ssl.trustStore=/path/to/your/truststore.jks -Djavax.net.ssl.trustStorePassword=your-password
   

4. 保存配置后，重新运行脚本即可生效。

额外注意事项 #

• 所有路径请使用绝对路径，避免Spark进程因工作目录不同找不到密钥库文件
• 如果是连接S3遇到证书问题，可以从AWS官方下载对应的根证书导入到密钥库
• 可以在脚本中打印print(os.environ.get('JAVA_HOME'))确认Spark使用的Java环境，确保密钥库修改的是对应Java版本的文件

内容的提问来源于stack exchange，提问作者Jared