You need to enable JavaScript to run this app. DataFrame重复列处理:删除值重复同名列并重命名异值重复列
优惠活动
大模型
产品
解决方案
定价
更多

DataFrame重复列处理:删除值重复同名列并重命名异值重复列

重复列定制处理实现方案

整体逻辑分为两步:先识别同名列中取值完全重复的冗余列并删除,再对同名列中取值有差异的列加后缀标识保留,全程使用原生pandas即可实现。

核心实现代码

import pandas as pd

# 1. 构造题目给出的示例DataFrame
df = pd.DataFrame(
    data=[[0.22, 0.50, 0.22, 0.67], [0.15, 0.30, 0.15, 0.77]],
    index=[1979, 1980],
    columns=["Sample_1", "Sample_2", "Sample_1", "Sample_2"]
)

# 2. 加临时列位置索引,避免重复列名混淆原始位置
df_temp = df.copy()
df_temp.columns = pd.MultiIndex.from_arrays(
    [range(df.shape[1]), df.columns],
    names=["col_pos", "col_name"]
)

# 3. 按原始列名分组,逐组处理
keep_cols = []
rename_plan = {}

for col_name, col_group in df_temp.T.groupby(level="col_name"):
    # 同组内按列值去重,取值完全一致的列只保留第一份
    unique_value_cols = col_group.T.drop_duplicates()
    # 遍历去重后的列,逐个处理命名
    for idx, (col_pos, col_data) in enumerate(unique_value_cols.iterrows()):
        if idx == 0:
            # 同组第一个出现的列,保留原始名称
            keep_cols.append(col_data)
        else:
            # 同组内非重复取值的列,加自定义后缀保留(这里用_edit,可按需调整)
            new_col_name = f"{col_name}_edit"
            rename_plan[col_pos] = new_col_name
            keep_cols.append(col_data)

# 4. 拼接结果,应用重命名
final_df = pd.concat(keep_cols, axis=1)
# 去掉临时列位置索引,替换为最终列名
final_df.columns = [
    rename_plan.get(col_meta[0], col_meta[1])
    for col_meta in final_df.columns
]

处理结果说明

运行代码后最终得到的DataFrame结构如下:

Sample_1Sample_2Sample_2_edit
19790.220.500.67
19800.150.300.77
  • 两个取值完全一致的Sample_1列,被去重为1份,冗余列直接删除
  • 两个取值有差异的Sample_2列全部保留,第二个列重命名为Sample_2_edit

注意事项

  • 不要直接使用pandas自带的df.columns.duplicated()方法做列去重:该方法仅识别列名,不会判断列值是否一致,会误删Sample_2这类同名但取值不同的有效列。
  • 重命名的后缀可根据需求灵活调整,只需要修改代码中new_col_name的拼接规则即可,比如替换为f"{col_name}_2"、f"{col_name}_dup"都可以。
  • 如果去重时需要保留同组内最后出现的列,只需要给drop_duplicates()方法加上参数keep="last"即可。

内容的提问来源于stack exchange,提问作者fifigoblin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 19:06:05