能否利用NumPy向量化、广播机制加速数组索引匹配填充流程
问题背景
- 数组m:形状为
(n, 2n),n=5时每一行是[0,0,1,1,2,2,3,3,4,4]的随机排列,示例代码:
import numpy as np m = np.array([[4, 2, 2, 3, 0, 1, 3, 1, 0, 4], [2, 4, 0, 4, 3, 2, 0, 1, 1, 3], [0, 2, 3, 1, 3, 4, 2, 1, 4, 0], [2, 1, 2, 4, 3, 0, 0, 4, 3, 1], [2, 0, 1, 0, 3, 4, 4, 3, 2, 1]])
- 数组t:形状为
(n², 4),前两列存储m的行索引与m中所有取值的全组合(n=5时共25种),最后两列初始为占位值99,示例代码:
t = np.array([[0, 0, 99, 99], [0, 1, 99, 99], [0, 2, 99, 99], [0, 3, 99, 99], [0, 4, 99, 99], [1, 0, 99, 99], [1, 1, 99, 99], [1, 2, 99, 99], [1, 3, 99, 99], [1, 4, 99, 99], [2, 0, 99, 99], [2, 1, 99, 99], [2, 2, 99, 99], [2, 3, 99, 99], [2, 4, 99, 99], [3, 0, 99, 99], [3, 1, 99, 99], [3, 2, 99, 99], [3, 3, 99, 99], [3, 4, 99, 99], [4, 0, 99, 99], [4, 1, 99, 99], [4, 2, 99, 99], [4, 3, 99, 99], [4, 4, 99, 99]])
替换规则
取t某行前两列的(m_row, val),到m的第m_row行中找到所有值等于val的列索引,按升序填入t的最后两列:
示例1:t中
[1, 3, 99, 99]→ m第1行值为3的列索引为4、9 → 更新为[1, 3, 4, 9]
示例2:t中[4, 2, 99, 99]→ m第4行值为2的列索引为0、8 → 更新为[4, 2, 0, 8]
现有问题
当前遍历m每一列匹配更新的方案速度较慢,需向量化加速实现。
向量化实现方案
核心思路是预构造查找表,再通过索引批量取值,全程无Python层面循环,底层为numpy C实现,速度远快于遍历:
- 对m的每一行做稳定排序,获取按值分组的列索引
- 将排序后的索引重组为形状
(n, n, 2)的查找表,lookup[m_row, val, :]直接对应该值的两个升序列索引 - 用t的前两列批量索引查找表,直接替换最后两列
完整可运行代码:
n = 5 # 1. 构造查找表 # 稳定排序保证同值的列索引按原顺序(升序)排列 sorted_col_idx = np.argsort(m, axis=1, kind='stable') # 重组为 (行号, 值, 两个列位置) 的查找表 lookup = sorted_col_idx.reshape(n, n, 2) # 2. 批量更新t t[:, 2:] = lookup[t[:, 0], t[:, 1], :]
该方案内存占用极低,n值越大加速效果越明显,运行后t的结果完全符合需求。
内容的提问来源于stack exchange,提问作者user109387
相关产品推荐
相关产品推荐

