Java Spark 如何将DataFrame中所有空字符串批量替换为null

你可以通过遍历DataFrame的所有列批量生成替换逻辑，一次性完成所有列的空字符串转null操作，不需要手动逐列指定列名，以下是两种常用实现：

方案1：全列统一处理 #

对DataFrame的所有列执行空字符串判断，适合你确定所有需要处理的列都是字符串类型的场景：

import java.util.Arrays;
import org.apache.spark.sql.Column;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import static org.apache.spark.sql.functions.*;

// 批量生成每列的替换逻辑，保持原列名不变
Column[] replaceColumns = Arrays.stream(df.columns())
        .map(colName -> when(col(colName).equalTo(""), null)
                .otherwise(col(colName))
                .alias(colName))
        .toArray(Column[]::new);

// 直接select生成处理后的DataFrame
Dataset<Row> resultDf = df.select(replaceColumns);

方案2：仅处理字符串类型列（推荐） #

先过滤出DataFrame中所有字符串类型的列做替换，非字符串列直接保留，避免无意义的类型判断，性能更优：

import java.util.Arrays;
import org.apache.spark.sql.Column;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.StringType;
import static org.apache.spark.sql.functions.*;

Column[] replaceColumns = Arrays.stream(df.schema().fields())
        .map(field -> {
            // 仅对字符串类型列做空字符串替换
            if (field.dataType() instanceof StringType) {
                return when(col(field.name()).equalTo(""), null)
                        .otherwise(col(field.name()))
                        .alias(field.name());
            }
            // 非字符串列直接返回原值
            return col(field.name());
        })
        .toArray(Column[]::new);

Dataset<Row> resultDf = df.select(replaceColumns);

两种方案的逻辑和你原有单列处理的逻辑完全一致，只是通过流式遍历实现了批量自动化处理，不需要手动维护列名列表。

内容的提问来源于stack exchange，提问作者Aditya