如何使用子集DataFrame填充主DataFrame中的缺失Age值?
如何使用子集DataFrame填充主DataFrame中的缺失Age值?
嗨,我来帮你搞定这个问题!你遇到的场景其实很典型——用一个包含补全数据的子集DataFrame,去填充主表中缺失的Age值,同时不能改动已有数据、也不能产生重复行。我来帮你拆解问题,再给出几种靠谱的解决方案,顺便分析下你之前踩的坑~
最简洁的解决方案:combine_first 方法
这个方法完美契合你的需求:只填充主表中原本是NaN的Age值,已有数据完全保留,而且代码超简洁。
步骤很简单:
- 把子集
df1的索引设置为EmpId,这样能通过员工ID精准匹配主表df的行 - 用
combine_first方法,让主表的Age列优先用自己的值,NaN的位置就从df1里取对应ID的Age值填充
代码示例:
import pandas as pd # 你的原始数据示例 df = pd.DataFrame({ "EmpId": [1,2,3,100], "Name": ['Fred','Barney','Wilma','Pebbles'], "Age": [40,35,float('NaN'),float('NaN')] }) df1 = pd.DataFrame({ "EmpId": [3,100], "Age": [30,6] }) # 关键步骤 df1.set_index('EmpId', inplace=True) # 用EmpId做索引,方便匹配 df['Age'] = df['Age'].combine_first(df1['Age']) print(df)
运行后你会发现,原来的NaN值被精准填充,已有Age值(比如Fred的40、Barney的35)完全没变化,也不会产生重复行。
为什么你之前的方法没生效?
我来帮你分析下之前踩的坑:
pd.merge/pd.join:这两个方法是用来合并表的,不是填充值,所以会产生新列或者重复行,完全不符合“填充缺失值”的需求,用错工具啦~df.loc的错误写法:你之前写的df.loc[df.EmpId == df1.EmpId, 'Age']有问题——df1.EmpId是一个Series,和df.EmpId逐元素比较时,因为两个表长度不同,会触发广播匹配,根本找不到正确的行。df.update()报错:update是按索引匹配值的,你之前没把两个表的索引统一成EmpId,导致匹配失败报错。而且update会替换所有对应索引的行(不管原来是不是NaN),其实不符合你的需求,所以不推荐用它。
另一种备选方案:字典映射+loc赋值
如果你不想改索引,也可以用字典映射的方式实现,逻辑更直观:
# 把df1转成 {EmpId: Age} 的字典 age_dict = df1.set_index('EmpId')['Age'].to_dict() # 筛选主表中Age为NaN,且EmpId在字典中的行,赋值对应的Age值 df.loc[df['Age'].isna() & df['EmpId'].isin(age_dict.keys()), 'Age'] = df['EmpId'].map(age_dict)
这个方法也能达到效果,就是代码比combine_first长一点。
备注:内容来源于stack exchange,提问作者Stiofán
相关产品推荐
相关产品推荐

