如何合并两个Pandas DataFrame并仅保留左侧的重复列?
更优的DataFrame合并方案
你当前删除_y结尾列的方法可行,但有更高效的实现方式——提前筛选右侧DataFrame的列,只保留键列和左侧没有的列,这样合并后不会产生重复的公共列,无需后续删除操作:
- 第一步:确定键列,提取右侧DataFrame中左侧没有的非键列
key_cols = ["key"] # 筛选df2中除键列外,df1没有的列 df2_keep_cols = key_cols + [col for col in df2.columns if col not in df1.columns] - 第二步:仅用筛选后的df2列进行合并
merged_df = pd.merge(df1, df2[df2_keep_cols], on=key_cols)
这个方法的优势:
- 避免生成冗余的
_x/_y列,减少内存占用,大数据量场景下性能提升明显 - 逻辑更直接,一步完成目标,不需要额外的列删除操作
如果坚持用原有合并逻辑再删列,也可以用更简洁的写法,但效率不如前者:
merged_df = pd.merge(df1, df2, on=["key"]).drop([col for col in merged_df.columns if col.endswith("_y")], axis=1)
内容的提问来源于stack exchange,提问作者PythonDeveloper
相关产品推荐
相关产品推荐

