DataFrame重复列处理:删除值重复同名列并重命名异值重复列
重复列定制处理实现方案
整体逻辑分为两步:先识别同名列中取值完全重复的冗余列并删除,再对同名列中取值有差异的列加后缀标识保留,全程使用原生pandas即可实现。
核心实现代码
import pandas as pd # 1. 构造题目给出的示例DataFrame df = pd.DataFrame( data=[[0.22, 0.50, 0.22, 0.67], [0.15, 0.30, 0.15, 0.77]], index=[1979, 1980], columns=["Sample_1", "Sample_2", "Sample_1", "Sample_2"] ) # 2. 加临时列位置索引,避免重复列名混淆原始位置 df_temp = df.copy() df_temp.columns = pd.MultiIndex.from_arrays( [range(df.shape[1]), df.columns], names=["col_pos", "col_name"] ) # 3. 按原始列名分组,逐组处理 keep_cols = [] rename_plan = {} for col_name, col_group in df_temp.T.groupby(level="col_name"): # 同组内按列值去重,取值完全一致的列只保留第一份 unique_value_cols = col_group.T.drop_duplicates() # 遍历去重后的列,逐个处理命名 for idx, (col_pos, col_data) in enumerate(unique_value_cols.iterrows()): if idx == 0: # 同组第一个出现的列,保留原始名称 keep_cols.append(col_data) else: # 同组内非重复取值的列,加自定义后缀保留(这里用_edit,可按需调整) new_col_name = f"{col_name}_edit" rename_plan[col_pos] = new_col_name keep_cols.append(col_data) # 4. 拼接结果,应用重命名 final_df = pd.concat(keep_cols, axis=1) # 去掉临时列位置索引,替换为最终列名 final_df.columns = [ rename_plan.get(col_meta[0], col_meta[1]) for col_meta in final_df.columns ]
处理结果说明
运行代码后最终得到的DataFrame结构如下:
| Sample_1 | Sample_2 | Sample_2_edit | |
|---|---|---|---|
| 1979 | 0.22 | 0.50 | 0.67 |
| 1980 | 0.15 | 0.30 | 0.77 |
- 两个取值完全一致的Sample_1列,被去重为1份,冗余列直接删除
- 两个取值有差异的Sample_2列全部保留,第二个列重命名为Sample_2_edit
注意事项
- 不要直接使用pandas自带的
df.columns.duplicated()方法做列去重:该方法仅识别列名,不会判断列值是否一致,会误删Sample_2这类同名但取值不同的有效列。 - 重命名的后缀可根据需求灵活调整,只需要修改代码中
new_col_name的拼接规则即可,比如替换为f"{col_name}_2"、f"{col_name}_dup"都可以。 - 如果去重时需要保留同组内最后出现的列,只需要给
drop_duplicates()方法加上参数keep="last"即可。
内容的提问来源于stack exchange,提问作者fifigoblin
相关产品推荐
相关产品推荐

