如何在Spark（Scala）中使用Join？附数据格式与代码示例

嘿，我来帮你搞定Spark Scala里的Join操作～首先得明确：Spark的Join是针对**键值对RDD（Pair RDD）**来做的，所以第一步得把你的数据转换成键值对形式，或者准备好两个需要关联的Pair RDD。

先从你现有的代码出发，先优化下你的filtered RDD处理——你现在多次调用line.split('|')，重复计算效率不高，建议先拆分一次再处理：

// 先把filtered转换成Pair RDD，这里假设以第一个字段（比如分组ID）作为键
val filteredPairRDD = filtered.map { line =>
  val parts = line.split('|')
  // 键是parts(0)，值把其他字段打包成元组，方便后续操作
  (parts(0), (parts(1), parts(2).toInt, parts(3).toFloat))
}

接下来，你需要另一个要关联的Pair RDD，比如假设你有一个存储每个分组额外信息的RDD：

// 示例：另一个Pair RDD，键和filteredPairRDD的键一致，值是分组描述
val groupInfoRDD = sc.parallelize(Seq(
  ("1", "Group One"),
  ("2", "Group Two"),
  ("3", "Group Three")
))

现在就可以执行不同类型的Join操作了，我给你逐个举例：

1. 内连接（Inner Join） #

只保留两个RDD中键同时存在的记录，这是最常用的Join类型：

val innerJoinResult = filteredPairRDD.join(groupInfoRDD)
// 结果格式：(键, ((原filtered的字段1, 字段2, 字段3), 分组描述))
innerJoinResult.foreach(println)

2. 左外连接（Left Outer Join） #

保留左RDD（filteredPairRDD）的所有键，右RDD没有匹配的键时，对应值为None：

val leftOuterJoinResult = filteredPairRDD.leftOuterJoin(groupInfoRDD)
// 结果格式：(键, ((原filtered的字段1, 字段2, 字段3), Option[分组描述]))
leftOuterJoinResult.foreach(println)

3. 右外连接（Right Outer Join） #

保留右RDD（groupInfoRDD）的所有键，左RDD没有匹配的键时，对应值为None：

val rightOuterJoinResult = filteredPairRDD.rightOuterJoin(groupInfoRDD)
// 结果格式：(键, (Option[(原filtered的字段1, 字段2, 字段3)], 分组描述))
rightOuterJoinResult.foreach(println)

4. 全外连接（Full Outer Join） #

保留两个RDD的所有键，任意一侧没有匹配的键时，对应值为None：

val fullOuterJoinResult = filteredPairRDD.fullOuterJoin(groupInfoRDD)
// 结果格式：(键, (Option[(原filtered的字段1, 字段2, 字段3)], Option[分组描述]))
fullOuterJoinResult.foreach(println)

如果你的场景是要关联不同的键（比如不是用第一个字段关联），只需要调整Pair RDD的键即可——比如你想以第二个字段（parts(1)）作为关联键，就把Pair RDD的键设为parts(1)就行。

另外提一句：如果用Spark DataFrame/Dataset的话，Join语法会更接近SQL，比如df.join(otherDF, df("key") === otherDF("key"), "inner")，但既然你用的是RDD，上面的方法就完全适用啦～

内容的提问来源于stack exchange，提问作者elias12171217