pandas中groupby分组内使用nearest方法插值填充NaN的实现方案

报错根因 #

interpolate(method='nearest')方法要求输入序列至少存在2个非NaN值才能完成插值计算，仅含1条记录、全为NaN、仅1个非NaN值的分组都会触发ValueError: x and y arrays must have at least 2 entries报错。
小样本测试时插值未生效，是因为interpolate默认仅向前插值，序列首尾的NaN无前置有效值无法填充，需要补充方向参数调整插值范围。 #

完整实现代码 #

import pandas as pd
import numpy as np

# 自定义分组插值逻辑
def group_nearest_fill(series):
    # 统计当前分组内非NaN的有效值数量
    valid_num = series.notna().sum()
    # 仅有效值≥2的分组执行插值，其余分组返回原数据跳过处理
    if valid_num >= 2:
        # limit_direction='both' 允许向前后两个方向查找最近值，覆盖首尾位置的NaN
        return series.interpolate(method="nearest", limit_direction="both")
    else:
        return series

# 执行分组填充
df["num"] = df.groupby("CustomerID")["num"].transform(group_nearest_fill)

可选优化配置 #

• 若需要限制最多填充的连续NaN个数，可在interpolate中添加limit=N参数，N为允许填充的最大连续NaN数量
• 若插值完成后需要删除全为NaN的无效记录，可补充执行df = df.dropna(subset=["num"])
• 若需要确保所有可填充的NaN都被覆盖，可在插值后补充前后填充逻辑，将返回值改为return series.interpolate(method="nearest", limit_direction="both").ffill().bfill()

内容的提问来源于stack exchange，提问作者Preben