Spark Scala：如何高效合并同结构ListBuffer中的DataFrame？

针对你要合并30个结构一致的DataFrame的需求，我来给你梳理最简洁高效的实现方式：

首先，你的result_df_list是ListBuffer[DataFrame]类型，它本身就支持Scala集合的核心操作，不需要额外转成Seq——毕竟ListBuffer是可变的Seq实现，完全兼容Seq的方法。

基础合并实现 #

直接调用reduce方法结合Spark的union操作就能搞定：

import org.apache.spark.sql.DataFrame
import scala.collection.mutable.ListBuffer

// 假设你的ListBuffer已经填充好30个结构匹配的DataFrame
var result_df_list = new ListBuffer[DataFrame]()
// ... 这里是填充DataFrame到ListBuffer的代码 ...

// 执行合并
val mergedDF = result_df_list.reduce(_ union _)

安全处理空列表的版本 #

如果存在result_df_list为空的可能性，建议用reduceOption避免抛出异常，再通过getOrElse返回空DataFrame作为兜底：

val mergedDF = result_df_list.reduceOption(_ union _).getOrElse(spark.emptyDataFrame)

为什么这是最优方案？ #

• 无冗余转换：直接使用ListBuffer自身的reduce方法，省去了转Seq的不必要操作（虽然转Seq开销极低，但简洁性更重要）。
• Spark执行效率：对于30个结构相同的DataFrame，union是窄依赖操作（Spark 2.0+的实现），链式reduce合并会生成清晰的执行计划，Spark能高效处理这个规模的合并。如果是上百上千个DF，可能需要考虑合并RDD后再转DataFrame，但30个的话，这种方式完全够用，性能和简洁性兼顾。
• 代码可读性：写法直观，熟悉Scala和Spark的开发者一眼就能理解逻辑，维护成本低。

关于转Seq的疑问 #

有同学可能会想先把ListBuffer转成Seq再合并，其实完全没必要。因为ListBuffer是Seq的可变子类，reduce方法是从父类继承的，直接调用和转Seq后调用的效果、性能完全一致，直接用ListBuffer的方法更简洁。

内容的提问来源于stack exchange，提问作者Javier de la Iglesia