如何将多个org.apache.spark.sql.Dataset[Row]合并为单个DataFrame？

嘿，这个问题其实挺典型的——先给你划个重点：在Spark里，DataFrame本质上就是Dataset[Row]的别名，所以你手里的这些处理后结果本身就和DataFrame是同一类东西，要合并它们其实很简单，有两种常用的方法，根据你的场景选就行：

方法1：使用union()（要求列结构完全匹配） #

这个方法适合所有待合并的Dataset[Row]列数一致、列顺序相同、对应列的数据类型完全匹配的场景。它会按列的位置进行合并：

// 假设有三个Dataset：ds1、ds2、ds3
val combinedDF = ds1.union(ds2).union(ds3)

// 如果有大量Dataset，可以用List+reduce简化写法
val datasetList = List(ds1, ds2, ds3, ds4)
val combinedDF = datasetList.reduce(_.union(_))

⚠️ 注意：如果列顺序不一致，union()会强行按位置合并，很容易导致数据错位（比如把姓名列的值插到年龄列里），所以用这个方法一定要确认列结构完全对齐。

方法2：使用unionByName()（更灵活，推荐） #

从Spark 2.3版本开始支持这个方法，它会按列名而非位置进行合并，只要列名和对应的数据类型匹配就行，容错性更强：

// 基础用法：不管列顺序，只要列名和类型匹配就可以合并
val combinedDF = ds1.unionByName(ds2)

// Spark 3.1+支持`allowMissingColumns`参数，允许合并存在缺失列的Dataset
// 缺失的列会自动补null值
val combinedDF = ds1.unionByName(ds3, allowMissingColumns = true)

这个方法在实际业务场景中更实用，毕竟很多时候不同来源的数据集列顺序可能不一样，用unionByName()能避免很多低级错误。

额外注意事项 #

• 合并后的结果依然是Dataset[Row]，而因为DataFrame就是它的别名，所以你可以直接把结果当成DataFrame使用，不需要额外的类型转换。
• 确保待合并数据集的对应列数据类型兼容：比如一个列是Int，另一个是Long，Spark会尝试隐式转换，但如果是String和Int这种不兼容类型，就会直接报错，建议提前统一数据类型。
• 如果合并的数据集数量非常多，优先用reduce或foldLeft的方式批量合并，比逐个调用union更简洁高效。

内容的提问来源于stack exchange，提问作者Brian