PySpark中DataFrame左连接后移除多余行的方案（无主键）

首先修正你代码里的语法错误：原代码的join参数写法有误，how='left'不属于on的参数列表，且两个关联列名不同，应该用left_on和right_on明确指定，基础修正后的写法示例：

# 修正语法后的基础连接（但仍会存在重复行问题）
df_joined = df1.join(df2.set_index('SEGMENT_TYPE'), left_on='MARKET_SEGMENT', right_index=True, how='left')

多余行的核心原因 #

df2中SEGMENT_TYPE列存在重复值，左连接时，df1中某一行匹配到df2中N个相同的SEGMENT_TYPE记录，就会生成N条重复行，导致总行数异常增加。

无主键场景下的解决方案 #

1. 先对df2的关联列去重

根据业务逻辑，为每个SEGMENT_TYPE保留唯一有效记录：

• 保留该类型第一次出现的记录：

df2_unique = df2.drop_duplicates(subset='SEGMENT_TYPE', keep='first')

• 保留该类型最后一次出现的记录：

df2_unique = df2.drop_duplicates(subset='SEGMENT_TYPE', keep='last')

• 若需聚合值（比如取目标列的均值/最大值，以更新df1对应列为例）：

# 假设要更新的列是df2的TARGET_COL，取每个SEGMENT_TYPE对应的最大值
df2_unique = df2.groupby('SEGMENT_TYPE')['TARGET_COL'].max().reset_index()

2. 执行左连接并更新df1

用去重后的df2执行连接，再将匹配到的值更新到df1的目标列：

# 执行左连接
df_joined = df1.merge(df2_unique, left_on='MARKET_SEGMENT', right_on='SEGMENT_TYPE', how='left')

# 更新df1的目标列（假设df1要更新的列是UPDATE_COL）
df1['UPDATE_COL'] = df_joined['TARGET_COL'].combine_first(df1['UPDATE_COL'])

高效替代方案（适合大数据集）

如果不需要保留df2的其他列，用map方法直接更新效率更高：

# 构建SEGMENT_TYPE到目标值的映射字典
type_map = df2_unique.set_index('SEGMENT_TYPE')['TARGET_COL'].to_dict()

# 直接更新df1的列
df1['UPDATE_COL'] = df1['MARKET_SEGMENT'].map(type_map).combine_first(df1['UPDATE_COL'])

内容的提问来源于stack exchange，提问作者BigData Lover