Python跨Excel实现类Vlookup匹配时生成重复同值列的解决方法
问题根因
你当前代码出现冗余列的核心逻辑问题在于:
- 合并操作中,
col1是两表的关联键,但col2、col3是两表都存在的非关联列,pandas默认会给这类重复列自动加上_x(主表df2的列)、_y(被关联表df1的列)后缀做区分。 - 你后续用正则批量删除
_x、_y后缀的操作,只是把列名改回了原始名称,并没有实际删除任何数据列;由于pandas支持同名列存在,最终就会出现两列同名、取值完全一致的冗余列块,和你描述的结构完全吻合。
修复实现方案
方案1:合并阶段直接规避冗余列生成(推荐,性能最优)
在merge时通过suffixes参数给被关联表(df1)的重复非关联列加上临时标记,合并完成后直接删除这些带标记的列,从源头避免无意义的列保留:
import pandas as pd df1 = pd.read_excel("original.xlsx") df2 = pd.read_excel("dropped.xlsx") result = df2.merge( df1, on="col1", how="left", # 主表df2的列保留原名称,df1侧的重复非关联列加_temp_to_drop后缀 suffixes=("", "_temp_to_drop") ) # 批量删除临时标记的冗余列 result = result.drop( columns=[col for col in result.columns if col.endswith("_temp_to_drop")] ) result.to_excel("result.xlsx", index=False)
方案2:合并完成后批量去重冗余列
如果不想调整merge参数,可以在你原有改列名的逻辑基础上,增加列级别的去重步骤,直接删除完全重复的列:
df1 = pd.read_excel("original.xlsx") df2 = pd.read_excel("dropped.xlsx") result = df2.merge(df1, on="col1", how="left") result.columns = result.columns.str.replace("_x|_y", "", regex=True) # 先删除列名重复的列,只保留第一次出现的版本 result = result.loc[:, ~result.columns.duplicated()] # 补充:如果存在列名相同但取值不一致的极端场景,可通过列值去重进一步校验 result = result.T.drop_duplicates().T result.to_excel("result.xlsx", index=False)
注意:必须在去除
_x/_y后缀之后再做列去重判断,因为后缀存在时所有列名都是唯一的,pandas无法识别后续会变成重复项的列。
内容的提问来源于stack exchange,提问作者Dong Gyu Lee
相关产品推荐
相关产品推荐

