本地PySpark访问AWS S3数据报错：trustAnchors参数不能为空

问题场景 #

你尝试在本地运行PySpark会话读取AWS S3桶里的数据，代码如下：

import pyspark as ps
fp = "s3n://my-bucket/some/data/file.csv"
spark = ps.sql.SparkSession.builder.master("local[*]").getOrCreate()
df = spark.read.csv(fp, schema=SCHEMA, sep="\t")
df.show(10, False)

其中SCHEMA已经正确定义，但运行时遇到了错误：Accessing s3 data locally with pyspark - trustAnchors parameter must be non-empty

解决方案 #

这个错误本质是JVM在建立SSL连接访问S3时找不到有效的信任证书，同时可能和S3协议的选择、AWS凭证配置有关，以下是几个可行的解决步骤：

• 切换到推荐的s3a协议
  s3n是较旧的S3访问协议，现在官方更推荐使用s3a，它支持更大的文件和更多S3特性。把你的文件路径改成：

  fp = "s3a://my-bucket/some/data/file.csv"
  

• 正确配置AWS凭证
  本地运行PySpark时需要提供AWS访问凭证才能访问S3，有几种方式：

  1. 在SparkSession构建时直接配置：

     spark = ps.sql.SparkSession.builder.master("local[*]")\
         .config("spark.hadoop.fs.s3a.access.key", "你的AWS访问密钥ID")\
         .config("spark.hadoop.fs.s3a.secret.key", "你的AWS私有访问密钥")\
         .getOrCreate()
     

  2. 设置系统环境变量：AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY
  3. 在~/.aws/credentials文件中配置（Spark会自动读取这个文件）

• 修复JVM SSL信任证书问题
  这个错误核心是JVM找不到信任的根证书，你可以通过以下方式解决：

  1. 确认你的Java环境的cacerts文件存在，通常路径是：
     • JDK 8及以下：$JAVA_HOME/jre/lib/security/cacerts
     • JDK 9+：$JAVA_HOME/lib/security/cacerts
       默认密码是changeit
  2. 如果证书缺失，你可以手动导入根证书到cacerts，或者在SparkSession中指定证书路径：

     spark = ps.sql.SparkSession.builder.master("local[*]")\
         .config("spark.driver.extraJavaOptions", "-Djavax.net.ssl.trustStore=/path/to/cacerts -Djavax.net.ssl.trustStorePassword=changeit")\
         .config("spark.executor.extraJavaOptions", "-Djavax.net.ssl.trustStore=/path/to/cacerts -Djavax.net.ssl.trustStorePassword=changeit")\
         .getOrCreate()
     

• 添加必要的Hadoop AWS依赖
  使用s3a协议需要对应的Hadoop AWS包支持，你可以在启动PySpark时通过--packages参数引入，或者在代码里配置：

  spark = ps.sql.SparkSession.builder.master("local[*]")\
      .config("spark.jars.packages", "org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-bundle:1.12.262")\
      .getOrCreate()
  

  注意版本要和你的Spark/Hadoop版本匹配，比如Spark 3.x通常搭配Hadoop 3.x的包。

内容的提问来源于stack exchange，提问作者Gianluca Micchi