PySpark如何批量将一列或多列中的空白值转换为null值

不需要逐列硬编码withColumn逻辑，只需要把单列的转换规则抽离，批量应用到目标列即可，转换效果和原有手写逻辑完全一致，以下是几种可直接落地的实现方式：

1. 循环遍历目标列转换（最易上手） #

把需要处理的列统一放到列表里维护，循环调用转换逻辑，后续新增/删除要处理的字段只需要修改列列表即可，不需要重复写判断逻辑：

from pyspark.sql.functions import when, trim, col

# 在这里维护所有需要做空白转null的列
process_cols = ["size", "weight", "color"]

for col_name in process_cols:
    df = df.withColumn(
        col_name,
        when(trim(col(col_name)) == "", None).otherwise(col(col_name))
    )

如果需要处理表中所有字符串类型的列，连列列表都不用手动写，可以自动识别字段类型筛选：

# 自动筛选所有字符串类型的列
process_cols = [f.name for f in df.schema.fields if f.dataType.simpleString() == "string"]
for col_name in process_cols:
    df = df.withColumn(
        col_name,
        when(trim(col(col_name)) == "", None).otherwise(col(col_name))
    )

2. 一次性select完成转换（写法更简洁） #

可以提前构造好全表所有列的转换表达式，一次select完成全表转换，不需要多次调用withColumn：

from pyspark.sql.functions import when, trim, col

process_cols = ["size", "weight", "color"]
# 非目标列直接保留原值，目标列应用空白转null规则
select_expressions = [
    when(trim(col(c)) == "", None).otherwise(col(c)).alias(c)
    if c in process_cols else col(c)
    for c in df.columns
]

df = df.select(*select_expressions)

3. 封装通用工具函数（适合多场景复用） #

如果项目中多个DataFrame都需要做这个处理，可以把逻辑封装成通用工具函数，支持传入指定列，默认自动处理所有字符串列：

from pyspark.sql import DataFrame
from pyspark.sql.functions import when, trim, col

def convert_blank_to_null(input_df: DataFrame, target_cols: list = None) -> DataFrame:
    # 未指定目标列时，默认处理全表所有字符串类型列
    if not target_cols:
        target_cols = [f.name for f in input_df.schema.fields if f.dataType.simpleString() == "string"]
    
    expr_list = []
    for col_name in input_df.columns:
        if col_name in target_cols:
            expr_list.append(when(trim(col(col_name)) == "", None).otherwise(col(col_name)).alias(col_name))
        else:
            expr_list.append(col(col_name))
    return input_df.select(*expr_list)

# 调用示例
# 处理指定列
df = convert_blank_to_null(df, ["size", "weight", "color"])
# 处理所有字符串列
df = convert_blank_to_null(df)

以上实现对空字符串''、任意长度的全空格字符串（比如' '、' \t '这类首尾带空白的内容）的处理效果，和逐列手写的逻辑完全一致，不会修改非空白字段的原有值。

内容的提问来源于stack exchange，提问作者pinei