Pandas中如何在同一步计算中引用新列的前序计算结果?
高效实现Pandas递推式新列计算
你的问题本质是递推计算:new[0] = 0,new[i] = old[i] + new[i-1](i≥1)。原来用shift的方式失效,是因为Pandas的向量化操作会基于计算前的列值批量计算,无法实时引用刚生成的前一行结果。循环虽然正确,但面对大数据量时效率极低,推荐以下两种优雅高效的方案:
方案1:利用cumsum()向量化计算
这是最简洁高效的方法,因为递推式展开后,new[i]其实是old[1]到old[i]的累加和(加上初始值0)。直接通过拼接初始值和切片累加的方式实现:
import pandas as pd import numpy as np df = pd.DataFrame(data=[1,2,3,4,5], columns=["old"]) # 初始值0,加上old从第2行开始的累加和 df['new'] = np.concatenate([[0], df['old'].iloc[1:].cumsum()])
运行后结果:
old new 0 1 0 1 2 2 2 3 5 3 4 9 4 5 14
方案2:用itertools.accumulate实现递推
如果需要更灵活的递推逻辑(比如不是简单累加),可以用itertools.accumulate,它能按顺序迭代计算每一步的结果:
import pandas as pd from itertools import accumulate df = pd.DataFrame(data=[1,2,3,4,5], columns=["old"]) # 从初始值0开始,依次累加old的后续元素 df['new'] = list(accumulate([0] + df['old'].iloc[1:].tolist()))
这个方法和方案1结果一致,适合需要自定义递推规则的场景。
两者都是向量化/迭代优化的操作,比循环快几个数量级,尤其适合处理大型DataFrame。
内容的提问来源于stack exchange,提问作者Sebastian Dine
相关产品推荐
相关产品推荐

