Spark 3.3.0在Win10+Java17下执行Pipeline报UTF8String空指针异常

一、解决UTF8String.getBaseObject()空指针异常 #

• 检查并处理数据中的null字符串
  Spark的UnsafeWriter在处理未显式处理的null字符串时容易触发该异常。排查你的数据处理逻辑：

  • 对可能为null的字符串列添加默认值，例如：

    // Scala示例
    import org.apache.spark.sql.functions.{coalesce, lit}
    df.withColumn("safe_col", coalesce(col("your_col"), lit("")))
    

  • 若从外部数据源读取数据，确认解析配置正确：比如CSV读取时设置option("nullValue", "")，避免将空值解析为null。

• 禁用Unsafe内存优化
  Spark 3.3.0在Java17+Windows环境下的Unsafe组件存在兼容性问题，可通过配置关闭：

  # 在spark-defaults.conf中添加或代码中设置
  spark.sql.unsafe.enabled=false
  spark.sql.columnVector.offheap.enabled=false
  

二、解决shuffleStatus空指针异常 #

• 指定权限充足的shuffle临时目录
  Windows默认临时目录可能存在权限问题，显式设置：

  spark.local.dir=C:/tmp/spark-shuffle
  

  确保该目录已创建且你拥有读写权限。

• 关闭外部shuffle服务
  Windows下外部shuffle服务兼容性较差，禁用该配置：

  spark.shuffle.service.enabled=false
  

• 调整shuffle分区数
  极端的分区数可能触发异常，根据数据量调整分区数：

  spark.sql.shuffle.partitions=100
  

三、环境兼容性优化 #

• 调整Java版本
  Spark 3.3.0对Java17的支持为实验性，建议降级到Java11（官方推荐LTS版本），或升级到Spark 3.4+版本以获得更好的Java17兼容性。

• 配置WinUtils
  Windows下运行Spark必须依赖Hadoop的WinUtils工具：

  1. 下载与Spark内置Hadoop版本匹配的winutils.exe
  2. 将其放入Spark的bin目录，或设置HADOOP_HOME环境变量指向包含winutils的文件夹

这些问题大多是特定环境组合的兼容性问题，并非Spark核心稳定性缺陷，调整上述配置或环境后即可解决大部分问题。

内容的提问来源于stack exchange，提问作者Garret Wilson