Pandas如何基于前一行值与条件计算DataFrame列（向量化实现）

你写的这类逻辑属于递归顺序计算：每行的结果依赖上一行的最终计算值，无法直接使用pandas常规的全列向量化API实现——常规向量化操作要求每行计算相互独立，无法感知同列前序行的动态计算结果。但apply()是效率最低的实现方式，有性能高1~2个数量级的替代方案：

• 最高性能方案：Numba编译加速
  这是处理这类逐行递归逻辑的最优选择，Numba会把Python循环直接编译为机器码执行，速度和原生C代码相当，比apply()快10~100倍，逻辑完全匹配你的伪代码要求。
  示例代码：

  import numpy as np
  import numba
  import pandas as pd
  
  # 开启nopython模式编译，无Python解释器开销
  @numba.jit(nopython=True)
  def _calc(data_arr):
      res_arr = np.empty(len(data_arr), dtype=np.float64)
      prev_res = 1  # 初始基准值
      for idx in range(len(data_arr)):
          cur_data = data_arr[idx]
          if cur_data > 10:
              cur_res = cur_data * 2 - prev_res
          else:
              cur_res = prev_res
          res_arr[idx] = cur_res
          prev_res = cur_res
      return res_arr
  
  # 直接传入numpy数组调用即可
  df['result'] = _calc(df['data'].to_numpy())
  

  注意：第一次调用函数时会有毫秒级的编译耗时，后续同类型数据调用直接执行编译好的机器码，没有额外开销。

• 无额外依赖的纯pandas优化方案
  如果你不想安装Numba，可以先识别所有需要触发值更新的行（即data > 10的位置）：因为data <=10时结果完全沿用上一个值，不需要重复计算，只需要按顺序遍历所有更新点计算值，再把值向前填充到非更新行即可。如果更新点占比很低，这个方案比apply()快5~20倍；但如果大部分行都满足data>10，性能提升有限。
  示例代码：

  df['result'] = np.nan
  prev = 1  # 初始基准值
  # 仅遍历需要更新值的位置
  update_pos = df.index[df['data'] > 10]
  for pos in update_pos:
      cur_val = df.loc[pos, 'data'] * 2 - prev
      df.loc[pos, 'result'] = cur_val
      prev = cur_val
  # 非更新位置向前填充最近的计算结果
  df['result'] = df['result'].ffill().fillna(1)
  

注意：不要尝试直接用np.where+shift()写全列运算，这类写法里shift()取的是计算前的初始列值，不是逐行动态更新的上一行结果，计算结果完全错误。

内容的提问来源于stack exchange，提问作者biffa