如何在Databricks中将PySpark DataFrame的字符串"null"替换为SQL类型null

以下是适用于Databricks PySpark环境的可运行方案，你可以根据实际场景选择：

方案1：全表所有字符串列批量替换 #

适合不清楚哪些列存在"null"字符串、列数量较多的场景，无需手动指定列名：

from pyspark.sql.functions import when, col

# 遍历所有列，仅将字符串类型列中值为"null"的内容替换为标准SQL NULL
df = df.select([
    when(col(c) == "null", None).otherwise(col(c)).alias(c) 
    if dict(df.dtypes)[c] == 'string' 
    else col(c) 
    for c in df.columns
])

说明：PySpark会自动将Python的None识别为标准SQL的NULL值，上述代码不会影响数值、日期等其他类型的列。

方案2：指定特定列替换 #

如果你已经明确只有某几列存在"null"字符串，推荐用这个方案，性能更优：

from pyspark.sql.functions import when, col

# 示例仅替换user_name、address两个目标列，可根据需求修改列名
df = df.withColumn("user_name", when(col("user_name") == "null", None).otherwise(col("user_name"))) \
       .withColumn("address", when(col("address") == "null", None).otherwise(col("address")))

方案3：Spark SQL语法实现 #

如果你更熟悉SQL写法，可以通过临时视图的方式处理：

# 注册临时视图
df.createOrReplaceTempView("raw_data_view")

# 执行SQL替换逻辑
df = spark.sql("""
SELECT 
    CASE WHEN user_name = 'null' THEN NULL ELSE user_name END AS user_name,
    CASE WHEN address = 'null' THEN NULL ELSE address END AS address,
    -- 其他不需要处理的列直接写列名即可
    age, create_time
FROM raw_data_view
""")

验证效果 #

替换完成后可以执行以下代码验证替换是否生效：

# 统计目标列中真实NULL的数量
null_count = df.filter(col("user_name").isNull()).count()
print(f"user_name列NULL值数量：{null_count}")

扩展用法 #

如果你需要同时把空字符串""也替换为NULL，可以把判断条件修改为：
when(col(c).isin("null", ""), None)

内容的提问来源于stack exchange，提问作者Ranjith