如何在未知列名时移除PySpark DataFrame重复列并处理未知额外列

已知预设字段集合为：employee_id、employee_name、salary、designation，对应原始数据如下：

现在数据源新增了名称不确定的额外字段（比如gender），需要实现：不用手动指定字段名，移除PySpark DataFrame中的重复项（含重复列或重复记录），同时保留所有额外字段及其数据。

注：有效字段指预设集合中的字段；额外字段指预设集合未包含的字段。

解决方法 #

情况1：移除同名重复列 #

如果你的DataFrame里出现了同名的重复列（比如读取数据源时重复加载了salary列），又不想手动列出去重字段，可以通过以下代码自动保留每个字段的唯一实例，同时保留所有额外字段：

from pyspark.sql import SparkSession

# 初始化Spark会话
spark = SparkSession.builder.appName("DropDuplicateCols").getOrCreate()

# 模拟带重复列和额外列的DataFrame
data = [
    (101, "monali", 70000, "developer", 70000, "female"),
    (102, "Amy", 70000, "developer", 70000, "male"),
    (103, "neha", 65000, "tester", 65000, "female")
]
# 这里故意加入重复的salary列，以及额外列gender
df = spark.createDataFrame(data, schema=["employee_id", "employee_name", "salary", "designation", "salary", "gender"])

# 自动去重列：保留每个字段第一次出现的实例
seen = set()
unique_cols = []
for col in df.columns:
    if col not in seen:
        seen.add(col)
        unique_cols.append(col)

# 生成去重后的DataFrame
df_clean = df.select(unique_cols)
df_clean.show()

运行后会自动去掉重复的salary列，同时保留gender这类额外字段。

情况2：基于有效字段移除重复记录 #

如果是要去掉所有有效字段值完全相同的重复记录（比如两条记录的员工ID、姓名、薪资、职位完全一致），同时保留额外字段的数据，可以用分组聚合的方式实现：

from pyspark.sql import SparkSession
from pyspark.sql.functions import first

spark = SparkSession.builder.appName("DropDuplicateRecords").getOrCreate()

# 模拟带重复记录和额外列的DataFrame
data = [
    (101, "monali", 70000, "developer", "female"),
    (101, "monali", 70000, "developer", "female"),  # 有效字段完全重复的记录
    (102, "Amy", 70000, "developer", "male"),
    (103, "neha", 65000, "tester", "female")
]
df = spark.createDataFrame(data, schema=["employee_id", "employee_name", "salary", "designation", "gender"])

# 定义有效字段集合
valid_cols = {"employee_id", "employee_name", "salary", "designation"}
# 自动识别额外字段
extra_cols = [col for col in df.columns if col not in valid_cols]

# 基于有效字段分组，保留每个分组的第一条记录（含额外字段）
df_deduped = df.groupBy(list(valid_cols)).agg(*[first(col).alias(col) for col in extra_cols])
df_deduped.show()

这段代码会自动识别额外字段，移除有效字段重复的记录，同时保留对应额外字段的内容。

内容的提问来源于stack exchange，提问作者Suzi