PySpark中将字符串'NULL'替换为Null并转换列至Double类型

你的核心需求是把DataFrame里的字符串'NULL'替换为PySpark原生的Null值，再将列类型转为Double。直接用cast的话，PySpark会自动把字符串'NULL'转为Null，但显式替换更可控，也能避免其他异常字符串干扰。以下是具体实现方案：

步骤1：导入必要的模块 #

from pyspark.sql import functions as F
from pyspark.sql.types import DoubleType

步骤2：定义批量转换函数 #

不用重复写三次withColumn，用循环批量处理目标列：

def convert_to_double_with_null(df, target_cols):
    for col_name in target_cols:
        # 先替换字符串'NULL'为PySpark Null，再转换类型
        df = df.withColumn(
            col_name,
            F.when(F.col(col_name) == 'NULL', F.lit(None)).otherwise(F.col(col_name)).cast(DoubleType())
        )
    return df

步骤3：调用函数处理数据 #

指定需要转换的列后执行转换：

# 列出要处理的列
cols_to_convert = ["col_1", "col_2", "col_3"]
# 执行转换
df_processed = convert_to_double_with_null(df, cols_to_convert)

验证结果 #

可以通过以下命令确认转换效果：

# 查看列类型
df_processed.printSchema()
# 查看数据内容
df_processed.show()

转换后，col_1、col_2、col_3会变为Double类型，原数据中的字符串'NULL'会显示为PySpark原生的null。

内容的提问来源于stack exchange，提问作者johnnydoe