Spark中左连接两个数据集并保持原Dataset类型的方法（特殊场景）

问题分析 #

你的代码使用joinWith后得到的是包含两个Row元组的Dataset（而非原ONE的强类型），且drop的语法有误（不能用逗号分隔的字符串作为参数）。要得到目标结构的强类型数据集，需要调整连接方式并显式映射回目标类型。

解决方案 #

假设你定义了对应数据集的样例类（强类型基础）：

// 原数据集ONE的样例类
case class DatasetOne(uuid: String, name: String, latitude: Double, longitude: Double)
// 原数据集TWO的样例类
case class DatasetTwo(uuid: String, lat: Double, long: Double)
// 目标结果的样例类（字段类型与ONE对应一致）
case class ResultDataset(uuid: String, name: String, lat: Double, long: Double)

方法1：使用普通join + 类型映射（推荐）

避免joinWith带来的元组结构，直接用普通join选择字段后转换为强类型：

import org.apache.spark.sql.functions._

val finalDataset = ONE.join(TWO, ONE("uuid") === TWO("uuid"), "left")
  // 选择目标字段，并重命名匹配结果结构
  .select(
    ONE("uuid").as("uuid"),
    ONE("name").as("name"),
    TWO("lat").as("lat"),
    TWO("long").as("long")
  )
  // 转换为目标强类型
  .as[ResultDataset]

方法2：基于joinWith调整（兼容原有连接方式）

如果一定要用joinWith，需要提取元组中的字段并处理可能的空值（左连接时TWO可能无匹配项）：

val finalDataset = ONE.joinWith(TWO, ONE.uuid === TWO.uuid, "left")
  .map { case (oneData, twoData) =>
    ResultDataset(
      oneData.uuid,
      oneData.name,
      // 左连接无匹配时取原ONE的latitude（已知为NULL，直接用Option处理空值）
      Option(twoData).map(_.lat).getOrElse(oneData.latitude),
      Option(twoData).map(_.long).getOrElse(oneData.longitude)
    )
  }

关键点说明 #

• joinWith返回Dataset[(A, B)]类型（A、B为原数据集的强类型），而非单个Row或原类型，必须通过map提取字段转换。
• 目标样例类ResultDataset的字段类型与ONE严格对应：uuid/name类型一致，lat对应ONE.latitude类型，long对应ONE.longitude类型，满足你对“类型与ONE一致”的要求。

内容的提问来源于stack exchange，提问作者Scott