Pandas结合fillna与rolling mean实现全段缺失值填充的问题
问题根源
原代码采用批量预计算滚动值+统一填充的逻辑,无法适配连续尾部缺失的场景:
- 代码会先对含连续NaN的原始y列一次性计算全列滚动均值,当原始列后半段全为NaN时,对应位置的滚动窗口内没有有效值,计算结果依然是NaN,因此只能填充最早的两个缺失位置,后续无法继续填充。
- 你的需求是顺序迭代填充:每填充完一个缺失值,就将这个新值纳入后续的滚动计算窗口,保证后续的缺失值计算能用到刚生成的有效值,直到填完整个表尾。
修正后的实现代码
import pandas as pd df = pd.DataFrame([ {"ds":"2017-01-01","y":3}, {"ds":"2017-01-02","y":4}, {"ds":"2017-01-03","y":6}, {"ds":"2017-01-04","y":2}, {"ds":"2017-01-05","y":7}, {"ds":"2017-01-06","y":9}, {"ds":"2017-01-07","y":8}, {"ds":"2017-01-08","y":2}, {"ds":"2017-01-09"}, {"ds":"2017-01-10"}, {"ds":"2017-01-11"}, {"ds":"2017-01-12"}, {"ds":"2017-01-13"}, {"ds":"2017-01-14"} ]) # 定位第一个出现y值缺失的行索引 first_na_idx = df["y"].isna().idxmax() # 从第一个缺失行开始逐行迭代填充 for idx in range(first_na_idx, len(df)): # 取当前行往前的3个位置的已确定值(含原始值、已填充值)计算滚动均值 last_3_vals = df.loc[idx-3 : idx-1, "y"] df.loc[idx, "y"] = last_3_vals.mean()
运行输出结果
ds y 0 2017-01-01 3.000000 1 2017-01-02 4.000000 2 2017-01-03 6.000000 3 2017-01-04 2.000000 4 2017-01-05 7.000000 5 2017-01-06 9.000000 6 2017-01-07 8.000000 7 2017-01-08 2.000000 8 2017-01-09 6.333333 9 2017-01-10 5.444444 10 2017-01-11 4.592593 11 2017-01-12 5.456790 12 2017-01-13 5.164773 13 2017-01-14 5.071385
规则匹配校验
- 表内从2017-01-09到2017-01-14的所有尾部缺失值已全部完成填充,直达数据表最后一行。
- 2017-01-14位置的填充值,严格基于前序已经计算完成的2017-01-11、2017-01-12、2017-01-13三个值计算3点滚动均值,符合计算要求。
内容的提问来源于stack exchange,提问作者appdev1014
相关产品推荐
相关产品推荐

