如何高效计算两个DataFrame的指定公式求和？优化百万级数据循环方案

直接利用NumPy广播机制和Pandas的向量化操作，完全避免Python循环，这是处理大数据量场景的最优选择——向量化操作基于底层C实现，效率比手动循环高几个数量级，适配你277,000条数据的规模。

实现代码 #

import pandas as pd
import numpy as np

# 原始数据初始化
data = [['m', 10], ['a', 15], ['c', 14]]
df = pd.DataFrame(data, columns=['ID', 'Unique'])

data2 = [[1,0.2],[2,0.3],[3,0.01],[4,0.5],[5,0.04]]
df2 = pd.DataFrame(data2, columns=['Month', 'Value'])

# 提取数组并调整维度，用于广播运算
unique_vals = df['Unique'].to_numpy().reshape(-1, 1)  # 形状：(N,1)，N为ID数量
month_vals = df2['Month'].to_numpy().reshape(1, -1)   # 形状：(1,M)，M为月份数量
value_vals = df2['Value'].to_numpy().reshape(1, -1)   # 形状：(1,M)

# 批量计算所有ID的每一项值，再按行求和
denominator = (1 + unique_vals) ** (month_vals / 12)
terms = value_vals / denominator
df['baseTotal'] = terms.sum(axis=1)

备选方案（效率略低但更简洁） #

如果觉得广播的维度调整不好理解，也可以用apply结合向量化逻辑——虽然本质还是逐ID循环，但比手动嵌套循环优化很多：

def calculate_total(unique):
    return (df2['Value'] / ((1 + unique) ** (df2['Month'] / 12))).sum()

df['baseTotal'] = df['Unique'].apply(calculate_total)

原代码问题说明 #

你的嵌套循环存在两个核心问题：

1. 循环变量重复使用i，导致内层循环的月份索引覆盖外层的ID索引，逻辑完全错误；
2. 每次循环都给整个df['base']列赋值，再累加baseTotal，不仅结果错误，还会触发大量不必要的Pandas列操作，效率极低。

内容的提问来源于stack exchange，提问作者user13948