pandas大数据集下如何不使用apply获取前序非NaN值用于计算

你完全不需要使用逐行遍历、apply这类高开销操作，直接用pandas内置的向量化ffill()（向前填充）方法配合shift()偏移就能实现需求，整套逻辑底层为C实现，哪怕是千万行级别的超大数据集也能保持极高运行效率。

核心实现逻辑 #

要获取每一行当前行之前的最近一个非NaN值，需要两步向量化操作：

1. 先将目标列整体向下偏移1位，确保后续取的前序值不会把当前行自身的有效值算进去
2. 对偏移后的列做向前填充，自动跳过中间的所有NaN，取到距离当前行最近的上一个非NaN值，解决常规shift()无法跳过空值的问题

代码示例 #

针对你给出的示例DataFrame，直接执行如下代码即可：

import pandas as pd

# 原示例数据
df = pd.DataFrame([['A',1,100],['B',2,None],['C',3,None],['D',4,182],['E',5,None]], columns=['A','B','C'])

# 1. 生成每一行对应的前序最近非NaN的C列值
df['prev_valid_C'] = df['C'].shift(1).ffill()
# 2. 计算差值列D
df['D'] = df['C'] - df['prev_valid_C']

# 查看结果
print(df)

执行后输出的结果为：

A  B      C  prev_valid_C     D
0  A  1  100.0           NaN   NaN
1  B  2    NaN         100.0   NaN
2  C  3    NaN         100.0   NaN
3  D  4  182.0         100.0  82.0
4  E  5    NaN         182.0   NaN

完全匹配你预期的「第3行D值为82」的结果。

方案优势 #

• 无逐行Python循环：所有操作都是pandas内置的向量化逻辑，运行速度比apply类方案高1~2个数量级，完全适配大体积DataFrame的性能要求
• 内存开销极低：仅对目标列做两次轻量运算，不会生成大规模临时对象
• 逻辑鲁棒：自动适配两个有效值之间任意数量的NaN场景，不需要额外写判断逻辑

可选调整 #

如果需要针对当前行为NaN的行自定义计算结果，比如填充0，可以在计算完D列后增加一句：

df['D'] = df['D'].fillna(0)

如果需要保留前序非NaN的辅助列直接参与后续计算，保留prev_valid_C列即可，不需要额外操作。

内容的提问来源于stack exchange，提问作者Sérgio B.