如何高效计算NumPy二维数组的不规则分组块均值
非等大分组场景下NumPy二维数组块均值的高效实现
本方案完全向量化实现,不依赖等块尺寸假设、不嵌套Python循环,计算效率远高于逐块遍历的传统循环方案。
实现思路
借助one-hot编码匹配分组规则,通过NumPy原生矩阵乘法完成块元素的聚合统计,替代逐块遍历的循环逻辑:
- 将每行的分组标签转换为对应维度的one-hot矩阵:矩阵行与原数组的行一一对应,某行属于哪个分组,该位置对应列的值为1,其余位置为0
- 按照相同逻辑,将每列的分组标签转换为列方向的one-hot矩阵
- 通过两次矩阵乘法,直接聚合得到每个块的元素总和、每个块的元素个数,两者做除法即可得到块均值结果
可直接运行的实现代码
import numpy as np # 输入示例 data = np.array([[7, 1, 6, 6, 4, 2], [8, 5, 5, 6, 3, 5], [3, 1, 7, 1, 3, 4], [6, 8, 3, 2, 3, 3], [8, 6, 7, 1, 1, 3], [8, 5, 4, 5, 1, 4]]) row_group_labels = np.array([0, 0, 1, 1, 1, 2]) col_group_labels = np.array([0, 0, 1, 1, 1, 2]) # 生成分组one-hot编码矩阵 n_row_groups = row_group_labels.max() + 1 n_col_groups = col_group_labels.max() + 1 row_onehot = np.eye(n_row_groups)[row_group_labels] col_onehot = np.eye(n_col_groups)[col_group_labels] # 聚合计算块的元素总和、块内元素数量 block_total = row_onehot.T @ data @ col_onehot block_element_count = row_onehot.T @ np.ones_like(data) @ col_onehot # 得到最终块均值矩阵 block_mean_result = block_total / block_element_count
代码运行输出结果与示例给出的预期块均值矩阵完全匹配。
方案特性
- 所有计算环节均调用NumPy底层C实现的矩阵运算,高频重复调用场景下,性能比Python嵌套循环高1~2个数量级
- 不强制要求块尺寸相等,完全适配任意大小分组的切片规则
- 无冗余内存拷贝,临时矩阵尺寸和分组数、原数组维度线性相关,大数组场景下的内存开销可控
- 支持任意连续整数格式的分组标签;如果分组标签是离散非连续值,可通过
np.unique(labels, return_inverse=True)提前转换为连续编码,无需改动核心计算逻辑
内容的提问来源于stack exchange,提问作者kbonna
相关产品推荐
相关产品推荐

