基于前一行数据新增rate列：现有Python实现的优化方案咨询

你的原始代码通过iterrows逐行循环计算rate列，逻辑可行但在数据量较大时效率较低——因为Python级别的逐行迭代没有利用Pandas的矢量化运算优势。以下是几种更高效的优化实现：

方案1：矢量化操作（推荐） #

利用Pandas的shift()函数直接获取前一行数据，通过矢量化计算一次性生成整列结果，效率比循环高一个数量级：

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.random((5,2)), columns=['v1','v2'])
print("原始数据：")
print(df)

# 用shift获取前一行的v1、v2数据
prev_v2 = df['v2'].shift(1)
prev_v1 = df['v1'].shift(1)

# 批量计算rate列
df['rate'] = (prev_v2 - df['v2']) / (df['v1'] - prev_v1)
# 将第一行的NaN替换为0（对应原始逻辑的初始值）
df['rate'].iloc[0] = 0

print("\n计算后数据：")
print(df)

方案2：链式assign操作（更简洁） #

通过assign方法整合计算逻辑，代码更紧凑：

df = pd.DataFrame(np.random.random((5,2)), columns=['v1','v2'])

df = df.assign(
    # 计算rate的核心逻辑
    rate=lambda x: (x['v2'].shift(1) - x['v2']) / (x['v1'] - x['v1'].shift(1))
).assign(
    # 替换第一行的NaN为0
    rate=lambda x: x['rate'].fillna(0)
)

print(df)

方案3：避免SettingWithCopyWarning（可选） #

如果遇到SettingWithCopyWarning，可以用np.where一步完成赋值和计算：

df = pd.DataFrame(np.random.random((5,2)), columns=['v1','v2'])

df['rate'] = np.where(
    df.index == 0,
    0,
    (df['v2'].shift(1) - df['v2']) / (df['v1'] - df['v1'].shift(1))
)

print(df)

效率对比 #

矢量化操作是Pandas底层用C实现的批量运算，当数据行数达到万级以上时，速度会比iterrows循环快几十甚至上百倍，同时代码更简洁易维护。

内容的提问来源于stack exchange，提问作者lucky1928