如何避免循环与iterrows()实现DataFrame行列组合函数运算？

我现在有个需求：把类似行向量（含A、B值）和列向量（含X、Y值）进行“配对运算”后汇总行，但这里的运算不是简单乘积，而是计算一个包含A、B、X、Y的函数值。目前用循环和iterrows()能实现，但实际场景中行向量有数千元素、列向量可达数百万，这种循环方式效率太低，想问问有没有不用循环和iterrows()的实现方式？

现有的实现代码如下：

from numpy import sin, cos, exp, nan
from numpy.random import random
import pandas as pd

# 支持ndarray向量化运算的示例函数
def myfun(a, b, x, y):
    return sin(a+x), exp(b+y)

# 类似“行向量”：每行是A/B值，每列是一组A,B对
df_ab = pd.DataFrame(random([2,6]), index=['A','B'], columns=['AB%d'%i for i in range(6)])
# 类似“列向量”：每行是一组X,Y对
df_xy = pd.DataFrame(random([8,2]), columns=['X','Y'], index=['XY%d'%i for i in range(8)])

# 预先添加结果列
df_xy['SUM_FUN0'] = nan
df_xy['SUM_FUN1'] = nan

# 循环遍历每个X,Y对计算结果
for _, xy in df_xy.iterrows():
    funout0, funout1 = myfun(df_ab.loc['A'], df_ab.loc['B'], xy.X, xy.Y)
    xy['SUM_FUN0'] = funout0.sum()
    xy['SUM_FUN1'] = funout1.sum()

高效无循环实现方案 #

完全可以利用numpy的广播机制来搞定！因为你的myfun已经支持ndarray向量化运算，这是关键——广播能帮我们跳过显式循环，直接对整个数组做批量运算，效率会提升几个数量级，完美适配百万级的列向量场景。

具体实现步骤 #

1. 先把DataFrame里的核心数据提取成numpy数组，摆脱pandas行/列遍历的开销；
2. 利用广播把A、B数组扩展成适合和X、Y配对的形状（比如把A从(6,)变成(6,1)，就能和(8,)的X自动配对成(6,8)的二维数组）；
3. 直接调用myfun完成全量运算，再对每一列求和（对应每个X,Y的汇总结果）；
4. 把求和结果直接赋值回df_xy即可。

重构后的代码 #

from numpy import sin, exp, nan
from numpy.random import random
import pandas as pd

def myfun(a, b, x, y):
    return sin(a+x), exp(b+y)

# 生成示例数据
df_ab = pd.DataFrame(random([2,6]), index=['A','B'], columns=[f'AB{i}' for i in range(6)])
df_xy = pd.DataFrame(random([8,2]), columns=['X','Y'], index=[f'XY{i}' for i in range(8)])

# 提取核心numpy数组
A = df_ab.loc['A'].values  # 形状 (6,)
B = df_ab.loc['B'].values  # 形状 (6,)
X = df_xy['X'].values      # 形状 (8,)
Y = df_xy['Y'].values      # 形状 (8,)

# 广播实现全量配对运算：A[:, None]将A转为(6,1)，和X(8,)自动广播为(6,8)的二维数组
fun0, fun1 = myfun(A[:, None], B[:, None], X, Y)

# 对每一列求和（对应每个X,Y的结果汇总），赋值回df_xy
df_xy['SUM_FUN0'] = fun0.sum(axis=0)
df_xy['SUM_FUN1'] = fun1.sum(axis=0)

为什么这招好用？ #

• 广播是numpy底层实现的批量运算，比Python循环快N倍——尤其是当df_xy有几百万行时，这个效率差距会非常夸张；
• 代码逻辑更简洁，没有冗余的循环遍历代码，可读性更强；
• 完全保留了你原函数的运算逻辑，只是把循环交给了更高效的底层处理。

额外提示 #

如果你的自定义函数原本不支持向量化，第一步要先把它改成用numpy函数实现的版本（比如用np.sin代替Python原生的math.sin），这是实现无循环的前提。不过你的示例函数已经符合要求，直接用就行。

内容的提问来源于stack exchange，提问作者adr