遍历数据集列新增status与message列的性能优化求助

原代码性能差的核心原因是循环中反复对DataFrame执行filter和union操作，每一轮循环都会遍历全量数据并生成中间数据集，18列就会导致数据被重复处理18次，产生大量不必要的计算开销。下面是一次性完成所有逻辑的优化代码，只需要遍历数据一次就能生成目标列：

优化后的Scala代码 #

import org.apache.spark.sql.functions._

// 获取所有列名列表
val cols = df.columns.toList

// 为每个列生成空值提示信息：列空则返回指定格式字符串，否则返回空字符串
val nullMessageCols = cols.map(c => 
  when(col(c).isNull, s" Column : $c is null").otherwise("")
)

// 拼接所有非空的提示信息，用分号分隔（可根据需求调整分隔符）
val combinedMessage = concat_ws("; ", nullMessageCols: _*)

// 根据拼接后的message判断status：非空则为Failure，否则为Success
val statusCol = when(combinedMessage =!= "", lit("Failure")).otherwise(lit("Success"))

// 生成最终结果DataFrame
val resultDf = df
  .withColumn("message", combinedMessage)
  .withColumn("status", statusCol)

优化说明 #

• 避免循环操作：所有空列的检测和信息拼接都通过Spark的内置函数一次性完成，只需要一次数据扫描，彻底消除原代码中多次filter/union带来的性能损耗。
• 高效字符串拼接：使用concat_ws函数自动忽略空字符串，避免拼接出多余的分隔符，同时保证message格式符合要求。
• 状态判断逻辑简洁：直接通过message是否为空来设置status，逻辑清晰且执行高效。

对于40K行18列的数据集，该方案的执行速度会比原代码提升一个数量级以上，且不会产生不必要的中间数据。

内容的提问来源于stack exchange，提问作者ravish kumar