You need to enable JavaScript to run this app. 如何用NumPy实现带limit参数的前向填充(ffill)
优惠活动
大模型
产品
解决方案
定价
更多

如何用NumPy实现带limit参数的前向填充(ffill)

带填充次数限制的NumPy前向填充实现

行为对齐规则

完全匹配Pandas ffill(limit=k) 的核心判定逻辑:

  • 填充计数从最近的非空值的下一个位置开始计算,非空值本身不占用填充配额
  • 同一来源的非空值,最多连续向后填充k个空值,达到配额后剩余空值保留为nan
  • 遇到新的非空值时,之前的填充计数自动重置,从新值开始重新计算填充配额

实现思路

复用无限制前向填充的向量化逻辑,额外增加步长判断做填充限制:

  • 标记数组内所有非空位置
  • 逐位置追踪最近的前置非空值索引
  • 计算每个位置距离最近前置非空值的步长,把步长超出limit的位置标记为不可填充
  • 先生成全量无限制前向填充结果,再将不可填充的位置重置为nan

实现代码

import numpy as np

def ffill_with_limit(arr: np.ndarray, limit: int) -> np.ndarray:
    # 标记非空位置
    valid_mask = ~np.isnan(arr)
    # 逐位置追踪最近的前置非空值索引
    last_valid_index = np.maximum.accumulate(
        np.where(valid_mask, np.arange(arr.size), 0)
    )
    # 计算当前位置距离最近非空值的步长
    step_since_last_valid = np.arange(arr.size) - last_valid_index
    # 步长在limit范围内的位置允许被填充
    allowed_to_fill = step_since_last_valid <= limit
    # 生成全量无限制ffill结果
    full_ffill = np.where(valid_mask, arr, arr[last_valid_index])
    # 应用填充限制,超出范围的位置保留nan
    return np.where(allowed_to_fill, full_ffill, np.nan)

用例验证

针对给定测试输入运行:

test_arr = np.array([1, 2, np.nan, np.nan, np.nan, 7, 8, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan])
output = ffill_with_limit(test_arr, limit=7)

最终输出和Pandas运行结果完全一致:

array([ 1.,  2.,  2.,  2.,  2.,  7.,  8.,  8.,  8.,  8.,  8.,  8.,  8.,  8., nan])

性能特性

全程为NumPy向量化操作,无Python层循环,大数组场景下的运行效率远高于逐位置判断的循环实现,适配性能优化需求。

内容的提问来源于stack exchange,提问作者Jonas Byström

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 02:57:07