Spark DataFrame空列随机填充"s"/"n"的实现问题

你的问题核心在于没理解Spark的不可变分布式数据模型：

• DataFrame是不可变数据集，无法直接修改原有数据，所有操作都会生成新的DataFrame
• foreach中的Row对象是只读的，且操作在Executor端执行，无法同步回Driver端的原数据
• Spark不支持像单机数据集那样按索引df[i]直接访问行

可行实现方案 #

优先使用Spark内置函数实现，性能远高于自定义UDF或逐行操作：

1. 基础版（直接替换目标列所有值为随机"s"/"n"）

import org.apache.spark.sql.functions.{rand, when}

// 假设目标列名为 target_col
val updatedDf = df.withColumn("target_col", when(rand() < 0.5, "s").otherwise("n"))

2. 精准版（仅替换列中的null值，保留非null原有数据）
   如果目标列存在非null值，只想填充null的行：

import org.apache.spark.sql.functions.{rand, when, col}

val updatedDf = df.withColumn(
  "target_col",
  when(col("target_col").isNull && rand() < 0.5, "s")
    .when(col("target_col").isNull, "n")
    .otherwise(col("target_col"))
)

方案说明 #

• rand()：Spark内置分布式随机函数，每个分区独立生成0-1之间的随机数，保证分布式环境下的随机性
• withColumn：生成新的DataFrame，符合Spark不可变数据模型的设计，操作是分布式并行执行的，效率远高于逐行循环

内容的提问来源于stack exchange，提问作者FRANCISCO JAVIER ROMERO GARCIA