如何使用PySpark将含空值的Parquet转为JSON并替换空值为0？

你的思路是可行的，但如果要处理多个字段或者想让代码更简洁高效，有几个更优的实现方式：

1. 使用na.fill()（或fillna()）批量处理空值 #

这是PySpark中处理空值最简洁高效的方式之一，尤其适合批量替换多个字段的场景：

• 如果只需要替换单个字段（比如你的x字段）：

  df_filled = df.na.fill(0.0, subset=['x'])
  

• 如果要替换所有数值型字段的空值为0.0（不用逐个字段指定）：

  df_filled = df.na.fill(0.0)
  

  它会自动识别DataFrame中的数值类型字段，把所有空值替换为0.0，省去了重复写withColumn的麻烦。

2. 对比你当前的实现 #

你写的when( col('x').isNull(), 0.0 ).otherwise(col('x'))逻辑完全正确，适合需要对单个字段做自定义空值替换逻辑的场景，但如果要处理多个字段，na.fill()的代码更简洁，并且底层做了优化，处理大规模数据集时性能更好（减少了DataFrame的转换次数）。

完整示例代码 #

# 读取Parquet文件
df = spark.read.parquet("your/input/path.parquet")

# 替换空值（这里以批量替换所有数值型字段为例）
df_filled = df.na.fill(0.0)

# 保存为JSON文件
df_filled.write.mode("overwrite").json("your/output/path.json")

注意：如果你的字段是整数类型，记得用0而非0.0，避免出现类型不一致的问题。

内容的提问来源于stack exchange，提问作者user9790000