基于Id列合并Pandas DataFrame重复行,填充缺失字段
Pandas 按Id匹配填充Sold/Needed列解决方案
方法1:提取映射表后左合并
先从原数据中分离出Id与Sold、Needed的唯一对应关系,再通过左合并将值同步到所有同Id的行:
import pandas as pd # 假设你的原始DataFrame变量名为df # 提取Id到Sold/Needed的映射(只保留有Sold值的行) sold_needed_map = df.dropna(subset=['Sold']).set_index('Id')[['Sold', 'Needed']] # 删除原DataFrame中的Sold、Needed列,再与映射表左合并 merged_df = df.drop(columns=['Sold', 'Needed']).merge(sold_needed_map, on='Id', how='left') # 过滤掉原本无Name、Now等核心信息的行 final_df = merged_df.dropna(subset=['Name'], how='all')
方法2:分组广播填充
利用groupby结合transform,将每个Id对应的非NaN的Sold/Needed值自动填充到该Id的所有行,再清理无用行:
# 按Id分组,将每个组内非NaN的Sold值填充到所有行 df['Sold'] = df.groupby('Id')['Sold'].transform(lambda x: x.dropna().iloc[0]) # 同理处理Needed列 df['Needed'] = df.groupby('Id')['Needed'].transform(lambda x: x.dropna().iloc[0]) # 删除Name、Now、Then、There全为NaN的行 final_df = df.dropna(subset=['Name', 'Now', 'Then', 'There'], how='all')
问题原因说明
你之前用merge/join未成功,大概率是因为没有先过滤出Id与Sold/Needed的唯一映射关系,直接合并会因重复Id产生无效匹配或残留NaN。上述两种方法都先明确了每个Id对应的目标值,再精准同步到所有对应行,完美适配你有重复Id(对应不同Name)的场景。
内容的提问来源于stack exchange,提问作者Thomas Paine
相关产品推荐
相关产品推荐

