合并DataFrame同名列时user_id重复、值错位问题求助

核心问题分析 #

你遇到的问题源于合并操作未针对同名列做匹配填充处理：直接合并导致不匹配的user_id被追加到表格末尾，且同名列未完成对应NaN值的填充，反而生成重复列。

具体解决方案 #

方法1：Merge + Combine_first（通用场景） #

适用于user_id作为唯一标识，需保留已有合并结果所有行的场景：

1. 先清除两个DataFrame中重复的user_id（避免匹配混乱）：

   # 假设已合并的前三份数据为df_merged，第四份为df4
   df_merged = df_merged.drop_duplicates(subset='user_id', keep='first')
   df4 = df4.drop_duplicates(subset='user_id', keep='first')
   

2. 按user_id左连接，再填充同名列的NaN值：

   # 左连接保留df_merged所有行，用后缀区分同名列
   temp_df = pd.merge(df_merged, df4, on='user_id', how='left', suffixes=('', '_from_df4'))
   # 用df4的del_keys值填充原del_keys的NaN
   temp_df['del_keys'] = temp_df['del_keys'].combine_first(temp_df['del_keys_from_df4'])
   # 删除多余重复列，得到最终结果
   df_final = temp_df.drop(columns=['del_keys_from_df4'])
   

方法2：Combine_first（索引匹配场景） #

若可将user_id设为索引，这种方式更简洁：

1. 将两个DataFrame的索引设置为user_id：

   df_merged.set_index('user_id', inplace=True)
   df4.set_index('user_id', inplace=True)
   

2. 直接用combine_first完成匹配填充，自动对应相同user_id的行：

   df_final = df_merged.combine_first(df4).reset_index()
   

   该方法会保留df_merged的所有列和行，仅用df4中对应user_id的有效值填充原数据的NaN，不会产生重复的user_id。

内容的提问来源于stack exchange，提问作者Haseeb Tariq