Python Pandas快速计算行值除以上一行值 优化大样本债券收益率计算

原来的for循环慢的核心原因是在Python层级逐行迭代，存在大量Python对象交互开销，样本量越大耗时越高。直接使用pandas/numpy的向量化操作即可实现百倍甚至千倍的速度提升，逻辑和你原来的实现完全一致。

最优实现代码（pandas向量化版） #

import pandas as pd
import numpy as np

# 示例数据生成
col1 = np.random.randint(1,10,size=10)
df = pd.DataFrame({"col1": col1})

# 核心计算逻辑，一行完成，自动填充第一行的NaN值
df["result"] = np.log(df["col1"] / df["col1"].shift(1))

说明 #

• 核心用到shift(1)方法，将col1列整体向下偏移1行，直接得到所有行对应的t-1期净价，整个计算过程为底层C实现，无Python循环开销
• 100万行级别的数据计算耗时在毫秒级，远快于原生for循环
• 若需处理净价小于等于0的异常场景，可提前对数据做过滤：

  # 过滤无效净价，避免计算对数时报错
  df["col1"] = df["col1"].where(df["col1"] > 0, np.nan)
  df["result"] = np.log(df["col1"] / df["col1"].shift(1))
  

极致性能优化（numpy版，适合超大数据量） #

如果你的样本量达到千万/亿级别，直接用numpy数组计算会比pandas操作再快30%左右：

arr = df["col1"].values
df["result"] = np.concatenate([[np.nan], np.log(arr[1:] / arr[:-1])])

内容的提问来源于stack exchange，提问作者cornermountain