如何加速Python中DataFrame行成对相似度计算的循环函数运行效率
优化方案
性能瓶颈分析
原始代码慢核心是三个问题:
- 两层Python原生循环执行2000*2000=400万次运算,Python本身循环开销极高
- 每次循环都通过pandas的
loc接口取数、重复转numpy数组,冗余的IO开销占了很大比例 - 存在大量重复计算:例如成对相似度是对称的(
cosine_sim(a,b) = cosine_sim(b,a))、每行的范数被重复计算了2000次
通用自定义函数适配优化方案
这个方案可以适配后续更换任意自定义成对计算函数,仅需要函数内部使用numpy运算即可,速度可以提升数十倍到上百倍,2000*2000规模通常几秒到几十秒就能跑完:
import numpy as np import pandas as pd from numba import jit # 1. 预处理:提前提取df的数值数组,避免反复调用pandas索引 arr = df.values n = arr.shape[0] result = np.zeros((n, n), dtype=np.float64) # 2. 自定义计算函数加jit装饰器,numba会将函数编译为机器码执行,大幅提速 @jit(nopython=True) def cosine_sim(x, y): dot = np.dot(x, y) norma = np.linalg.norm(x) normb = np.linalg.norm(y) cos = dot / (norma * normb) return cos # 3. 利用成对计算的对称性,仅计算上三角区域,直接减少一半计算量 @jit(nopython=True) def calc_pairwise(arr, n): for i in range(n): # 对角元素单独计算 result[i, i] = cosine_sim(arr[i], arr[i]) # 仅计算j>i的区域,结果直接赋值给对称位置 for j in range(i + 1, n): val = cosine_sim(arr[i], arr[j]) result[i, j] = val result[j, i] = val return result # 执行计算并转成目标DataFrame格式 result = calc_pairwise(arr, n) pairwise_df = pd.DataFrame(result, index=df.index, columns=df.index)
如果自定义计算函数不满足对称性,直接去掉对称赋值逻辑,保留jit加速和numpy预处理即可,也比原始代码快很多。
特定函数(如余弦相似度)极致优化方案
如果是余弦相似度这类可以完全向量化的计算,不需要循环,毫秒级就能得到结果:
arr = df.values # 提前计算所有行的范数 norm = np.linalg.norm(arr, axis=1, keepdims=True) # 矩阵乘法直接得到所有行的点积结果 dot_matrix = arr @ arr.T # 批量计算所有成对余弦相似度 cos_matrix = dot_matrix / (norm @ norm.T) # 转成目标DataFrame pairwise_df = pd.DataFrame(cos_matrix, index=df.index, columns=df.index)
注意事项
- 使用numba加速时,自定义函数内部不要使用pandas相关接口,仅用numpy运算和基础Python语法即可正常编译
- 2000*2000的结果矩阵内存占用仅约30M(float64格式),不存在内存压力
内容的提问来源于stack exchange,提问作者dddxxx
相关产品推荐
相关产品推荐

