pandas如何基于分组缺失序列左右3值均值插值填充空值?
可以实现,无需编写逐行遍历的显式循环,仅靠pandas内置的分组、窗口、插值等方法即可完成需求,实现代码如下:
依赖导入与示例数据生成
import pandas as pd import numpy as np nan = np.nan d = {'group': {0: 1, 1: 1, 2: 1, 3: 1, 4: 1, 5: 1, 6: 1, 7: 1, 8: 1, 9: 1, 10: 1, 11: 1, 12: 2, 13: 2, 14: 2, 15: 2, 16: 2, 17: 2, 18: 2, 19: 2, 20: 2, 21: 2, 22: 2, 23: 2}, 'value': {0: 1.0, 1: 1.0, 2: 2.0, 3: 3.0, 4: 4.0, 5: nan, 6: nan, 7: 3.0, 8: 6.0, 9: 4.0, 10: 3.0, 11: nan, 12: nan, 13: nan, 14: 1.0, 15: 2.0, 16: 3.0, 17: 4.0, 18: nan, 19: nan, 20: nan, 21: 6.0, 22: 8.0, 23: 9.0}} df = pd.DataFrame(d)
填充逻辑实现
def fill_group_gap(ser): # 标注连续缺失段ID not_nan_mask = ser.notna() gap_id = not_nan_mask.cumsum() # 计算每个位置左侧最近3个有效值的平均值 left_avg = ser.rolling(3, min_periods=1).mean().shift(1) # 计算每个位置右侧最近3个有效值的平均值 right_avg = ser[::-1].rolling(3, min_periods=1).mean().shift(1)[::-1] ser = ser.copy() # 仅遍历分组内的缺失段(无逐行循环,量级极低) for gid in gap_id[~not_nan_mask].unique(): gap_mask = gap_id == gid gap_left_val = left_avg[gap_mask].iloc[0] gap_right_val = right_avg[gap_mask].iloc[-1] # 边界缺失处理:一侧无有效值时直接用另一侧平均值填充 if pd.isna(gap_left_val): ser.loc[gap_mask] = gap_right_val elif pd.isna(gap_right_val): ser.loc[gap_mask] = gap_left_val # 中间缺失处理:左右平均值之间线性插值 else: gap_len = gap_mask.sum() ser.loc[gap_mask] = np.linspace(gap_left_val, gap_right_val, gap_len + 2)[1:-1] return ser # 分组应用填充规则 df['value'] = df.groupby('group')['value'].transform(fill_group_gap)
运行上述代码后输出的结果和你提供的预期完全一致,如果你要求完全去掉所有层级的for循环,也可以通过多层分组聚合+广播的方式替换对缺失段的遍历,但代码可读性会大幅下降,上述实现已经是性能和可读性的最优平衡。
内容的提问来源于stack exchange,提问作者Fissium
相关产品推荐
相关产品推荐

