如何高效计算Pandas DataFrame列的逐行累计求和？

问题分析 #

你当前的实现通过列表推导式逐行从头计算前n项和，时间复杂度为O(n²)——每一行都要重新遍历前面所有元素求和，在处理大型DataFrame时会成为严重的性能瓶颈。

最优解决方案 #

直接使用Pandas内置的cumsum()方法，它是底层优化的向量化运算，时间复杂度仅为O(n)，完全避免了重复计算。

基础实现（累计到当前行）

如果需求是新列第i行的值为column_1从起始行到第i行的累计和（包含当前行），一行代码即可完成：

df['new column'] = df['column_1'].cumsum()

匹配原代码输出（累计到前一行）

你的原代码中，新列第i行是column_1从起始行到第i-1行的和（第0行为0），要完全匹配这个逻辑，只需对cumsum()结果做位移处理：

df['new column'] = df['column_1'].cumsum().shift(1, fill_value=0)

性能对比示例 #

用10万行数据测试：

import pandas as pd
import time

# 生成测试数据
df = pd.DataFrame({'column_1': range(100000)})

# 原方法耗时
start = time.time()
column_array = df['column_1'].to_numpy()
df['old_new'] = [column_array[:n].sum() for n in range(len(column_array))]
print(f"原方法耗时: {time.time() - start:.2f}秒")

# 优化方法耗时
start = time.time()
df['new_new'] = df['column_1'].cumsum().shift(1, fill_value=0)
print(f"优化方法耗时: {time.time() - start:.6f}秒")

输出示例：

原方法耗时: 12.34秒
优化方法耗时: 0.001234秒

可见性能提升了几个数量级。

为什么cumsum()更高效 #

cumsum()是Pandas基于NumPy实现的向量化操作，底层用C语言执行，不需要Python层面的循环——每一步仅需将当前元素与前一步的累计结果相加，完全避免了重复遍历数组的开销。

内容的提问来源于stack exchange，提问作者TEDiks