Java环境下使用Apache Spark实现两个Dataset特定内连接的方法咨询

你当前的需求不需要使用内连接，需要通过左外连接结合coalesce函数实现label字段的优先取值逻辑，具体实现如下：

完整可运行代码 #

import org.apache.spark.sql.functions;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;

// 原有获取左右数据集的逻辑不变
final Dataset<Row> dataSetTableLeft = getDatasetForLeft();
final Dataset<Row> dataSetTableRight = getDatasetForRight();

// 按time字段左外连接，保留左表所有行
Dataset<Row> joinedDs = dataSetTableLeft.join(
        dataSetTableRight,
        dataSetTableLeft.col("time").equalTo(dataSetTableRight.col("time")),
        "left_outer"
);

// 合并label字段：优先取右表label，右表无匹配时取左表label
Dataset<Row> resultDs = joinedDs.select(
        dataSetTableLeft.col("time"),
        functions.coalesce(dataSetTableRight.col("label"), dataSetTableLeft.col("label")).alias("label")
);

// 输出验证
resultDs.show();

逻辑说明 #

• 调用join方法时第三个参数指定连接类型为left_outer，即左外连接，保证左表所有行都会被保留，右表没有匹配到的行对应的字段全部为null
• coalesce函数会按参数顺序返回第一个不为null的值，刚好匹配「右表存在相同time就用右表label，否则用左表label」的需求
• 你之前直接调用无关联条件的join默认是笛卡尔积形式的内连接，unionAll、crossJoin也不符合当前关联取值的场景，因此无法得到预期结果

运行上述代码后输出的resultDs就和你给出的预期结果完全一致。

内容的提问来源于stack exchange，提问作者PatPanda