如何高效提取Spark DataFrame唯一值并添加至另一DataFrame作为列？

针对你提到的场景——df1的colName列仅有唯一值，要将该列添加到大型df2中，以下是两种更高效的实现方式，同时解决你担心的Action触发问题：

方案1：直接获取值后用lit添加列（性能最优） #

如果确定colName只有唯一值，最直接高效的方式是先获取这个值，再通过lit函数将其作为固定列添加到df2中。虽然会触发一次轻量Action，但仅获取单个值的开销可以忽略，且无需执行join操作，对大型df2来说性能最佳：

import org.apache.spark.sql.functions.lit

// 获取唯一值，替换YourType为实际数据类型（如String、Int等）
val targetValue = df1.select("colName").first().getAs[YourType]("colName")
// 给df2添加固定值列
val resultDf = df2.withColumn("colName", lit(targetValue))

方案2：广播小数据集+Cross Join（懒执行无提前Action） #

如果希望全程保持Spark的懒执行特性，不提前触发任何Action，可以先从df1中取一行数据，再通过broadcast函数将其广播到所有节点，避免Cross Join时的shuffle操作：

import org.apache.spark.sql.functions.broadcast

// 仅取一行数据，这是Transformation，不会触发Action
val singleRowDf = df1.select("colName").limit(1)
// 广播小数据集后执行Cross Join，Spark会自动优化避免shuffle
val resultDf = df2.crossJoin(broadcast(singleRowDf))

对比原方案的优化点 #

你原代码中的limit(1)本身是Transformation，不会触发Action，只有当后续对resultDf执行Action（如show()、write()）时才会计算。但原方案未使用广播，Cross Join可能会引发不必要的shuffle；而上述方案2通过广播小数据集，彻底避免了shuffle开销，性能远优于普通Cross Join。

内容的提问来源于stack exchange，提问作者Oliwier Mroczkowski