PySpark写CSV报错Null value appeared in non-nullable field排查

这个报错和write.csv的参数配置没有关系，错误发生在数据计算阶段，还没走到CSV序列化写出的流程，核心触发原因如下：

• 你提供的4个字段的顶层Schema和Spark实际执行时的内部Schema不匹配，错误栈明确显示存在array<double>类型的数组字段，该字段并未出现在你打印的顶层Schema中
• 计算链路中存在Python/Scala UDF（错误栈出现PythonUDFRunner、ScalaUDF调用痕迹），该UDF返回的Double类型数组中包含null值
• Scala原生Double是值类型，本身不支持null，Spark解码UDF返回结果时，检测到本应非空的数组元素位置出现null，直接抛出空指针异常
• 你配置的header=True、emptyValue=''、nullValue=''都是CSV写出阶段的参数，在本次报错中完全没有参与执行，不是问题诱因

• 先执行df_final.show(20, truncate=False)做验证，如果show操作也报相同错误，可100%确认是计算链路的问题，和写出逻辑无关
• 排查全链路UDF逻辑，重点看生成sim字段的相关计算：
  • 如果UDF返回Double数组，提前处理数组内的null值，用coalesce把null替换为0.0、NaN等合法Double值
  • 如果UDF不需要返回数组类型，修正UDF的返回值声明，避免Spark自动推断为array<double>类型
• 执行df_final.explain(True)查看完整物理执行计划，定位输出array<double>类型的计算节点，排查是否有未删除的中间数组字段、或者Schema隐式转换导致的类型不匹配
• 如果数组字段是你需要保留的字段，注意CSV格式本身不支持复杂嵌套类型，写出前需要把数组转成分隔符拼接的字符串，或者炸开数组为多行，否则后续即使解决空指针问题也会出现写出格式不符合预期的问题

内容的提问来源于stack exchange，提问作者Sree Aurovindh