如何在Pandas中对DataFrame前向填充，仅填充连续NaN长度≤限制的分组？

我完全懂你的需求——不想一股脑把所有NaN都用ffill填充，只想处理那些连续缺失长度不超过设定阈值的分组，更长的缺失段就留着不动对吧？咱们直接上代码和思路，一步一步来实现：

首先先回顾下你给出的原始数据：

import numpy as np
import pandas as pd
df = pd.DataFrame(
    {'val': [1, 1, np.nan, np.nan, 2, 3, np.nan, np.nan, np.nan, np.nan, 1, 1]}
)

核心思路 #

要实现这个需求，关键是先识别连续的NaN分组，计算每个分组的长度，然后只对长度≤阈值的分组应用前向填充，超过阈值的分组保留原NaN。

分步实现（以阈值=2为例） #

1. 给连续NaN段打分组标签

我们用非NaN值作为分隔点，给每一段连续的NaN（以及前面的非NaN值）分配一个唯一分组ID：

df['group'] = df['val'].notna().cumsum()

这时候group列的结果是：

0     1
1     1
2     2  # 对应前两个连续NaN
3     2
4     3
5     3
6     4  # 对应后面四个连续NaN
7     4
8     4
9     4
10    5
11    5

可以看到，每一段连续NaN都属于同一个分组，非NaN值也会和后面的NaN分成不同组。

2. 计算每个NaN分组的长度

接下来我们计算每个分组里的NaN数量（也就是连续NaN的长度）：

# 对每个分组，统计其中NaN的数量，并用transform把结果映射回每一行
nan_group_lengths = df['val'].isna().groupby(df['group']).transform('sum')

这时候nan_group_lengths列的结果：

0     0
1     0
2     2
3     2
4     0
5     0
6     4
7     4
8     4
9     4
10    0
11    0

非NaN行的长度为0，连续NaN行则显示所在分组的总长度。

3. 创建填充掩码

设定我们的填充阈值（比如2），然后标记哪些NaN需要被填充：

fill_threshold = 2
fill_mask = df['val'].isna() & (nan_group_lengths <= fill_threshold)

这个掩码里，True表示需要填充的NaN，False表示不需要填充的NaN和非NaN值。

4. 执行带限制的填充

先做整体的前向填充，然后用掩码把不需要填充的NaN还原回去：

# 先得到全量ffill的结果
full_ffill = df['val'].ffill()
# 只保留掩码为True的填充结果，其他位置用原始值
df['filled_val'] = full_ffill.where(fill_mask, df['val'])

整合为可复用函数 #

如果需要多次使用，把上面的步骤封装成函数更方便：

def ffill_with_limit(df, col_name, fill_threshold):
    # 创建分组标识
    group_ids = df[col_name].notna().cumsum()
    # 计算每个NaN分组的长度
    nan_lengths = df[col_name].isna().groupby(group_ids).transform('sum')
    # 生成填充掩码
    fill_mask = df[col_name].isna() & (nan_lengths <= fill_threshold)
    # 执行填充并返回结果
    full_ffill = df[col_name].ffill()
    return full_ffill.where(fill_mask, df[col_name])

# 调用函数，阈值设为2
df['filled_val'] = ffill_with_limit(df, 'val', 2)

最终输出结果 #

打印df[['val', 'filled_val']]会得到：

val  filled_val
0   1.0         1.0
1   1.0         1.0
2   NaN         1.0
3   NaN         1.0
4   2.0         2.0
5   3.0         3.0
6   NaN         NaN
7   NaN         NaN
8   NaN         NaN
9   NaN         NaN
10  1.0         1.0
11  1.0         1.0

完美符合你的需求：长度≤2的连续NaN被填充，长度超过2的则保留原样。

内容的提问来源于stack exchange，提问作者Little Bobby Tables