如何使用Spark将多表Join结果的指定列插入Table-B？

步骤1：提取指定列并映射目标表字段名 #

由于你的Dataset包含5个字段，但仅需4个字段对应目标表列，且原字段名与目标表列名不一致，需先将字段名对齐到目标表的列名：

方式一：直接选择并重命名 #

// 提取需要的列，同时重命名为目标表的列名
Dataset<Row> targetData = exlCompaniesDataset
    .select(
        col("Col1").alias("id"),
        col("Col2").alias("Alias"),
        col("Col3").alias("emp_age"),
        col("Col4").alias("occupation")
    );

方式二：先选列再批量重命名（适合字段较多场景） #

Dataset<Row> targetData = exlCompaniesDataset
    .select("Col1", "Col2", "Col3", "Col4")
    .withColumnRenamed("Col1", "id")
    .withColumnRenamed("Col2", "Alias")
    .withColumnRenamed("Col3", "emp_age")
    .withColumnRenamed("Col4", "occupation");

步骤2：写入目标表Table-B #

根据Table-B的存储类型，选择对应的写入方式：

方式一：写入Spark管理的内部表 #

targetData.write()
    .mode(SaveMode.Append) // 可选模式：Append/Overwrite/Ignore/ErrorIfExists
    .saveAsTable("Table-B");

方式二：写入外部数据库表（如MySQL、PostgreSQL） #

Properties props = new Properties();
props.setProperty("user", "你的用户名");
props.setProperty("password", "你的密码");
props.setProperty("driver", "com.mysql.cj.jdbc.Driver"); // 替换为对应数据库驱动

targetData.write()
    .mode(SaveMode.Append)
    .jdbc("jdbc:mysql://你的主机:端口/数据库名", "Table-B", props);

关键注意事项 #

• 若Table-B的其余6列不允许空值，需在写入前补充默认值，示例如下：

Dataset<Row> targetDataWithDefaults = targetData
    .withColumn("col5", lit("默认值"))
    .withColumn("col6", lit(0))
    // 依次补充剩余需要的列

• 确认SaveMode的选择：Append为追加数据，Overwrite会覆盖整张表，需根据业务场景选择。

内容的提问来源于stack exchange，提问作者Klaus