Scala中使用joinWith后仅保留左表数据的实现方法

我明白你遇到的问题了——用joinWith之后得到的数据集类型和自定义函数的参数不兼容，而且你还需要仅保留左表的所有数据。咱们一步步来解决：

问题根源 #

首先，joinWith和Spark普通的join不一样，它返回的是Dataset[(Row, Row)]（每个元素是左表行和右表行的元组），但你的anotherFunction期望接收的是Dataset[Row]，这就导致了类型不匹配的报错。另外你用了inner连接，这会直接丢掉左表中没有匹配右表的行（比如你的示例里id=1、2的行），不符合你"仅保留左表数据"的需求。

解决方案1：用普通Left Join+选择左表列 #

这是最直接的方式，用普通的左外连接，然后只选择左表的所有列，这样得到的就是纯左表数据，类型也符合要求：

val df1 = Seq((1, "A1"), (2, "A2"), (3, "A3"), (4, "A4")).toDF("id", "value_left")
val df2 = Seq((3, "A3"), (4, "A4"), (4, "A4_1"), (5, "A5"), (6, "A6")).toDF("id", "value_right")

def anotherFunction(parm: Dataset[Row]): Dataset[Row] = {
  // 这里写你的自定义逻辑，比如添加列、过滤等示例
  parm.withColumn("new_col", lit("processed"))
}

val transformedDf: Dataset[Row] = df1
  .join(df2, df1("id") === df2("id"), "left") // 左外连接保留左表所有行
  .select(df1.columns.map(df1(_)): _*) // 只选择左表的全部列
  .transform(anotherFunction)

transformedDf.show()

运行后会保留df1的所有4行数据，完全符合你的需求。

解决方案2：用joinWith后提取左表行 #

如果你因为某些场景必须用joinWith，可以先提取元组中的左表行，再处理成Dataset[Row]：

val transformedDf: Dataset[Row] = df1
  .joinWith(df2, df1("id") === df2("id"), "left") // 同样用左连接保留左表所有行
  .map(_._1) // 取出元组里的左表行
  .distinct() // 因为右表多匹配会导致左表行重复，去重恢复左表原始数据
  .transform(anotherFunction)

这里的distinct()很关键——如果右表有多个匹配左表的行，joinWith会生成多个重复的左表行，去重后就能回到左表的原始数据。

为什么原来的代码不行？ #

1. inner连接会过滤掉左表中没有右表匹配的行，丢失了id=1、2的数据，不符合你"仅保留左表数据"的要求；
2. joinWith返回的Dataset[(Row, Row)]类型和anotherFunction需要的Dataset[Row]不兼容，所以transform调用直接报错。

内容的提问来源于stack exchange，提问作者KurryF