使用Apache Sedona 1.6.1创建上下文时遇NullPointerException错误

问题原因 #

代码中存在一个空的.config()调用：

.config(
)

Spark的config()方法要求传入键值对参数，空调用会传递null的配置键，直接触发NullPointerException。

修复方案 #

删除这个空的.config()调用，修正后的完整代码如下：

from sedona.spark import *
config = (
    SedonaContext.builder()
    .config(
        "spark.hadoop.fs.s3a.aws.credentials.provider",
        "org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider",
    )
    .config(
        "fs.s3a.aws.credentials.provider",
        "org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider",
    )
    .getOrCreate()
)

sedona = SedonaContext.create(config)

验证说明 #

移除空配置调用后，SparkConf将正常处理有效的S3凭证提供者配置，不会再抛出空指针异常，即可成功初始化Sedona Context。

内容的提问来源于stack exchange，提问作者Ellio