如何高效将Pandas DataFrame指定索引的值添加到n×n NumPy数组

问题背景 #

现有结构如下的Pandas DataFrame（数据量可能很大，最多含m行）：

row_idx clm_idx   value  
         0       1      a1   
         0       2      b1     
         1       3      c1      
         2       3      d1   

同时有一个n×n的NumPy数组A，需要根据DataFrame中row_idx和clm_idx指定的行列位置，将对应value值添加到数组的对应位置（以加法为例，后续可能有更复杂运算）。

示例中的4×4数组A：

A = [[a   b   c  d],
     [e   f   g  h],
     [i   k   l  m],
     [n   o   p  q]]

期望得到的更新后数组：

A_new = [[a   b+a1   c+b1  d],
         [e   f      g     h+c1],
         [i   k      l     m+d1],
         [n   o      p     q]]

尝试过遍历DataFrame行更新，但效率低下；使用df.apply()时抛出SyntaxError（lambda中无法使用赋值操作）：

df.apply(lambda x: A[x['row_idx'], x['clm_idx']] += x['value'], axis=1)

需要针对大m、大n的场景，找到高效解决方案。

基础代码框架：

import numpy as np
import pandas as pd

data = {'row_idx': [0, 0, 1, 2], 'clm_idx': [1,2,3,3], 'value': [1,2,3,4]}

df = pd.DataFrame(data)

A = np.zeros((4,4))

# 问题出在此行
df.apply(lambda x: A[x['row_idx'], x['clm_idx']] += x['value'], axis=1)

高效解决方案 #

方法1：NumPy矢量化索引更新（最优） #

直接提取DataFrame中索引和值的NumPy数组，利用NumPy的矢量化操作批量更新，这是效率最高的方式，完全避免循环：

# 提取行、列、值的数组
rows = df['row_idx'].values
cols = df['clm_idx'].values
vals = df['value'].values

# 批量更新数组A
A[rows, cols] += vals

运行后查看A的结果：

print(A)
# 输出：
# [[0. 1. 2. 0.]
#  [0. 0. 0. 3.]
#  [0. 0. 0. 4.]
#  [0. 0. 0. 0.]]

完全符合预期，且这种操作的时间复杂度是O(m)，远快于循环或apply的O(m)常数开销（NumPy底层是C实现，效率远超Python级循环）。

方法2：针对重复索引的聚合更新 #

如果DataFrame中存在重复的(row_idx, clm_idx)组合，可先对value做聚合运算（如求和、均值等），再批量更新，避免重复操作：

# 按行列索引分组聚合
agg_df = df.groupby(['row_idx', 'clm_idx'])['value'].sum().reset_index()

# 批量更新
A[agg_df['row_idx'].values, agg_df['clm_idx'].values] += agg_df['value'].values

为什么之前的方法不行？ #

• df.apply()本质是逐行循环，效率和手动遍历几乎一致，不适合大数据量场景；
• lambda表达式中不允许出现赋值语句（+=属于赋值操作），因此会抛出SyntaxError。

内容的提问来源于stack exchange，提问作者lerdin