Spark Java加载CSV时移除重复列：后缀数字导致dropDuplicates失效

我之前也碰到过一模一样的情况——Spark自动给重复列加数字后缀（比如col变成col_1）后，dropDuplicates()完全失效，毕竟它是严格匹配列名来判断重复的。给你几个实用的解决思路：

方法一：通用处理已加载的带重复后缀的数据集 #

如果已经加载了包含这类重复列的CSV，可以先识别并保留每个逻辑列的唯一实例，再执行去重：

import org.apache.spark.sql.functions;
import java.util.*;

// 获取所有列名
List<String> allColumns = Arrays.asList(data.columns());

// 用LinkedHashMap保证列的原始顺序，只保留每个基础列的第一个出现的实例
Map<String, String> uniqueColumnMap = new LinkedHashMap<>();
for (String colName : allColumns) {
    // 去掉末尾的"_数字"后缀，得到基础列名
    String baseColumnName = colName.replaceAll("_\\d+$", "");
    // 仅当该基础列还未被记录时，添加当前列
    uniqueColumnMap.putIfAbsent(baseColumnName, colName);
}

// 提取去重后的列列表
List<String> uniqueColumns = new ArrayList<>(uniqueColumnMap.values());

// 重新选择列，得到无逻辑重复列的数据集
Dataset<Row> cleanedData = data.select(uniqueColumns.stream().map(functions::col).toArray(Column[]::new));

// 现在可以正常调用dropDuplicates()了
Dataset<Row> finalData = cleanedData.dropDuplicates();

这个方法会自动识别所有带数字后缀的重复列，保留每个原始列名的第一个出现的列，适合不知道具体重复列名的场景。

方法二：在Join阶段提前避免重复列 #

如果这些重复列是两张表Join时自动生成的（比如两张表都有相同列名，Spark默认给右侧表的列加_1后缀），那最好在Join的时候就处理，效率更高：

// 假设tableA和tableB都有user_id列，Join时直接删除重复的列
Dataset<Row> joinedData = tableA.join(tableB, tableA.col("user_id").equalTo(tableB.col("user_id")), "inner")
    .drop(tableB.col("user_id")); // 移除右侧表的重复列

// 后续正常执行去重
Dataset<Row> finalData = joinedData.dropDuplicates();

你也可以在Join前给其中一张表的列重命名，从根源避免重复：

// 给tableB的user_id列重命名为b_user_id
Dataset<Row> renamedTableB = tableB.withColumnRenamed("user_id", "b_user_id");
Dataset<Row> joinedData = tableA.join(renamedTableB, tableA.col("user_id").equalTo(renamedTableB.col("b_user_id")), "inner");

这样就不会出现自动加后缀的重复列，后续的dropDuplicates()也能按预期工作。

内容的提问来源于stack exchange，提问作者Alexander