PySpark自定义Schema列如何设置默认值替代Null？

方法1：使用fillna快速批量替换 #

如果你的DataFrame中所有需要处理的列都是字符串类型，直接调用fillna就能一键替换所有Null值：

# 加载数据后执行替换操作
df_filled = df.fillna("NoValueReceived")
df_filled.show()

这个方法会把DataFrame里所有列的Null值统一替换成指定的默认值，适合所有列替换规则一致的场景。

方法2：针对指定列灵活替换 #

如果后续有不同类型的列（比如整数列），或者只想替换部分字符串列，可以通过遍历目标列，结合coalesce和lit函数精准处理：

from pyspark.sql.functions import coalesce, lit

# 从自定义Schema中筛选出所有字符串类型的列名
string_cols = [field.name for field in structureSchema.fields if field.dataType == StringType()]

# 逐个列替换Null值
for col_name in string_cols:
    df = df.withColumn(col_name, coalesce(col(col_name), lit("NoValueReceived")))

df.show()

这种方式能精准控制需要替换的列，也方便后续扩展不同类型列的默认值规则。

完整整合示例 #

把你的代码和替换逻辑整合后的完整代码如下：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType,StructField, StringType, IntegerType
from pyspark.sql.functions import coalesce, lit

# 初始化SparkSession
spark = SparkSession.builder.appName("NullReplaceDemo").getOrCreate()

# 定义自定义Schema
structureSchema = StructType([
             StructField('col1', StringType(), True),
             StructField('col2', StringType(), True),
             StructField('col3', StringType(), True)   ,
])

# 加载JSON文件
df = spark.read.schema(structureSchema).json(fpath)

# 替换Null值（这里以fillna为例）
df_filled = df.fillna("NoValueReceived")
df_filled.show()

内容的提问来源于stack exchange，提问作者Monica Raj