Scala新手求助：移除DataFrame中含空值的列

嘿，作为Scala新手碰到这个需求完全没问题，我来给你拆解一下怎么实现：

你的核心需求是保留所有完全没有Null值的列，删除任何包含至少一个Null值的列，我们可以分两步来做：

步骤1：找出无Null值的列 #

首先我们需要统计每一列的Null值数量，然后筛选出那些Null值计数为0的列名。用Spark的函数可以轻松实现这一点：

import org.apache.spark.sql.functions.{col, count, when}

// 计算每列的Null值数量
val nullCounts = df.select(df.columns.map(c => count(when(col(c).isNull, 1)).alias(c))).first()

// 筛选出没有Null值的列名
val columnsToKeep = df.columns.filter(c => nullCounts.getAs[Long](c) == 0)

步骤2：保留目标列生成新DataFrame #

拿到要保留的列名后，直接用select方法选择这些列就可以得到你想要的结果：

val cleanedDf = df.select(columnsToKeep.map(col): _*)

结合你的输入示例验证 #

针对你给出的输入DataFrame，运行上面的代码后：

• Column 1和Column 2没有任何Null值，会被保留
• Column 3、4、5都存在Null值，会被删除
  最终得到的cleanedDf就是你给出的输出结果啦。

额外小提示 #

如果你的DataFrame很大，这种方法的效率也不错，因为只需要一次全表扫描就能统计所有列的Null值，比逐列检查要高效得多。

内容的提问来源于stack exchange，提问作者A8H1