Apache Spark Dataset关联同名列：如何重命名或添加前缀？

当然可以在Dataset层面直接处理同名列冲突的问题，不用额外转换为DataFrame（毕竟Spark里DataFrame本质就是Dataset<Row>）。这里给你两种实用的解决方案：

1. 重命名单个冲突列 #

如果只有少数几个同名列（比如你提到的code），可以直接在读取Dataset后，用withColumnRenamed()方法重命名目标列，避免后续关联时的冲突：

// 重命名uct中的code列为uct_code
Dataset<Row> uct = spark.read().jdbc(jdbcUrl, "uct", connectionProperties)
    .withColumnRenamed("code", "uct_code");

// 重命名si中的code列为si_code，同时保留过滤逻辑
Dataset<Row> si = spark.read().jdbc(jdbcUrl, "si", connectionProperties)
    .filter("status = 'ACTIVE'")
    .withColumnRenamed("code", "si_code");

// 关联后直接使用重命名后的列，无需担心冲突
Dataset<Row> uc = uct.join(si, uct.col("service_id").equalTo(si.col("id")));

这样关联后的uc里就会有uct_code和si_code两个独立的列，直接调用即可区分来源。

2. 给所有列添加前缀 #

如果两个Dataset有大量同名列，一个个重命名太麻烦，可以给其中一个（或两个）Dataset的所有列统一添加前缀，彻底避免同名问题。你可以通过遍历列名，结合selectExpr()实现：

// 读取并过滤si数据集
Dataset<Row> si = spark.read().jdbc(jdbcUrl, "si", connectionProperties)
    .filter("status = 'ACTIVE'");

// 给si的所有列添加si_前缀
List<String> siPrefixedCols = Arrays.stream(si.columns())
    .map(col -> String.format("%s as si_%s", col, col))
    .collect(Collectors.toList());
Dataset<Row> siWithPrefix = si.selectExpr(siPrefixedCols.toArray(new String[0]));

// 给uct的所有列添加uct_前缀
Dataset<Row> uct = spark.read().jdbc(jdbcUrl, "uct", connectionProperties);
List<String> uctPrefixedCols = Arrays.stream(uct.columns())
    .map(col -> String.format("%s as uct_%s", col, col))
    .collect(Collectors.toList());
Dataset<Row> uctWithPrefix = uct.selectExpr(uctPrefixedCols.toArray(new String[0]));

// 关联时使用带前缀的列名
Dataset<Row> uc = uctWithPrefix.join(siWithPrefix, 
    uctWithPrefix.col("uct_service_id").equalTo(siWithPrefix.col("si_id")));

这种方式的好处是一劳永逸，所有列都带有来源标识，后续操作再也不会出现列名混淆的问题。

额外小技巧：使用别名临时区分 #

如果你只是在关联时临时区分同名列，不想修改原Dataset的列名，也可以给Dataset设置别名，关联后通过别名访问列：

Dataset<Row> uc = uct.alias("uct")
    .join(si.alias("si"), uct.col("service_id").equalTo(si.col("id")));

// 通过别名访问对应列
uc.select("uct.code", "si.code").show();

不过这种方式在后续复杂操作时，每次都要带上别名，不如提前重命名或加前缀来得方便。

内容的提问来源于stack exchange，提问作者Wassim D