Spark写入Parquet文件时如何处理空值？

先给你理清一个常见误区，再说说业内现在的主流处理方法：

之前有观点认为Parquet不支持空值，这其实是不准确的——Parquet的最新格式规范已经加入了空值支持，但Spark对应的特性请求已经被关闭并标记为“不会修复”，短时间内甚至永远都不会适配这个新特性。

业内常用的空值处理方案 #

• 依赖Spark原生映射逻辑（最常用）：Spark本身在与Parquet交互时，会通过现有Parquet格式的扩展机制处理空值。只要你的DataFrame列定义中nullable=true，Spark会自动把空值序列化为Parquet可识别的空值形式，读取时也能正常解析还原。日常业务场景下，这种方式完全满足需求，无需额外操作。
• 手动替换空值为类型兼容占位符：如果需要对接不支持原生Parquet空值的老旧工具，或者业务逻辑禁止空值，可以用na.fill()方法提前将空值替换为对应数据类型的默认值。示例代码：

  // Scala 示例：针对不同字段替换空值
  val processedDF = df.na.fill(Map(
    "user_id" -> 0,
    "user_name" -> "",
    "is_active" -> false
  ))
  processedDF.write.parquet("/your/output/path")
  

  # Python 示例：相同逻辑实现
  processed_df = df.na.fill({
    "user_id": 0,
    "user_name": "",
    "is_active": False
  })
  processed_df.write.parquet("/your/output/path")
  

• 自定义UDF处理复杂类型空值：对于数组、结构体这类复杂数据类型内的空值，可以编写自定义UDF做针对性处理。比如将空数组转换为空列表，为空结构体填充默认字段值，确保写入Parquet后的数据结构一致性。

内容的提问来源于stack exchange，提问作者WestCoastProjects