Pandas按姓名分组实现条件Forward Fill NA,修正ffill跨组错填问题
带条件的Pandas前向填充实现方案
为什么全局ffill不符合预期
直接对整表使用ffill()会无视name列的分组边界,把上一个分组的有效邮箱值跨组填充到相邻分组的空值位置——比如john所在行没有有效邮箱时,全局ffill会把前序james的邮箱错误填充到这一行,最终会出现john行被错误填充james的邮箱、joseph行被错误填充paul的邮箱的问题,和观察到的错误效果完全一致。
完全可以通过分组限定填充范围,实现带条件的ffill效果,不会出现跨组串值的问题。
具体实现步骤
- 先修正示例里的空值类型:示例代码中
email列的'NaN'是字符串,不是Pandas可识别的真缺失值,会导致ffill无法正常触发,需要先做转换:import numpy as np import pandas as pd data = {'name': ['may','may', 'mary', 'james','james','john','paul', 'paul', 'joseph'], 'email' : ['may@gmail.com','NaN','Mary@gmail.com','James@gmail.com','NaN','NaN','Paul@gmail.com','NaN','NaN']} df = pd.DataFrame(data) # 将字符串形式的NaN替换为真缺失值 df['email'] = df['email'].replace('NaN', np.nan) - 按
name字段分组,在每个分组内部独立对email列执行前向填充,从根源上避免跨组值传递:df['email'] = df.groupby('name')['email'].ffill()
最终填充效果
填充后的值完全匹配预期,不会出现跨组串值:
| name | |
|---|---|
| may | may@gmail.com |
| may | may@gmail.com |
| mary | Mary@gmail.com |
| james | James@gmail.com |
| james | James@gmail.com |
| john | 空值 |
| paul | Paul@gmail.com |
| paul | Paul@gmail.com |
| joseph | 空值 |
逻辑说明
这种分组场景下的ffill,本质就是给前向填充加了仅同name组内允许值向下传递,跨name组禁止传递的条件:
- 同一name下的连续空值,会用同组内上方最近的有效邮箱值填充
- 不同name的相邻行,不会因为位置近就填充上一个人的邮箱值,从逻辑上规避了全局ffill的串值问题
内容的提问来源于stack exchange,提问作者denpy
相关产品推荐
相关产品推荐

