PySpark仅对DataFrame指定列将空值/非空值替换为0和1的方法

初始测试DataFrame定义参考：

sdf = ({'id_col': [25, 13, 15],
        'x2': ['b', None, '2'],
        'x3': [None, '0', '3'] })

期望处理结果：id_col列值保持不变，x2、x3列中null值替换为0、非null值替换为1，结果结构如下：

sdf = ({'id_col': [25, 13, 15],
        'x2': [1, 0, 1],
        'x3': [0, 1, 1] })

此前实现遇到的问题：

• 参考通用方案时，转换逻辑会作用于DataFrame全量列，无法保留id_col这类不需要处理的列的原值
• 尝试将待处理的x2、x3列存入列表，通过列表推导式生成列处理逻辑：

col_selection = [when(col(c).isNull(),0).otherwise(1).alias(c) for c in sdf[[list]].columns]

执行后仅返回x2、x3两列的处理结果，其余列全部丢失，不符合需求。
核心诉求：总列数为25的DataFrame中，需对其中17个指定列执行空值转0、非空转1的处理，剩余列保持原值，如何实现循环逻辑仅作用于指定列，不丢失原有保留列。

核心逻辑：最终查询的列集合由两部分拼接组成——不需要处理的列直接取原值 + 待处理列应用转换逻辑，不要仅传入转换后的列做select。
具体实现步骤：

1. 拆分列集合，单独维护待处理列列表，自动提取保留列

from pyspark.sql.functions import col, when

# 定义所有需要做[空转0/非空转1]处理的列，实际场景把17个待处理列全放进列表即可
target_process_cols = ["x2", "x3"]
# 自动筛选出不需要处理的保留列，无需手动枚举
keep_origin_cols = [col_name for col_name in sdf.columns if col_name not in target_process_cols]

2. 拼接完整的列选择逻辑，执行查询得到结果

# 列选择规则 = 保留列直接取原值 + 目标列应用转换规则
final_select_cols = [col(c) for c in keep_origin_cols] + [
    when(col(c).isNull(), 0).otherwise(1).alias(c)
    for c in target_process_cols
]

# 传入所有列规则执行select
result_sdf = sdf.select(*final_select_cols)

方案优势 #

• 易维护：后续调整待处理列范围时，仅需修改target_process_cols列表内容即可，不需要改动核心转换逻辑
• 无遗漏：不需要手动枚举所有保留列，只要不在待处理列表里的列都会自动保留原值，不会出现列丢失问题
• 无错改：转换逻辑仅作用于指定的目标列，不会影响id_col这类不需要处理的字段

如果待处理列有统一命名规则，也可以不用手动枚举待处理列，直接按规则匹配生成，比如匹配所有x开头的列：

# 按列名规则自动匹配待处理列示例
target_process_cols = [c for c in sdf.columns if c.startswith("x")]

执行上述代码后，即可得到和预期完全一致的结果：id_col列值不变，x2、x3列完成二值转换。

内容的提问来源于stack exchange，提问作者budding pro