You need to enable JavaScript to run this app. 如何加速Python中DataFrame行成对相似度计算的循环函数运行效率
优惠活动
大模型
产品
解决方案
定价
更多

如何加速Python中DataFrame行成对相似度计算的循环函数运行效率

优化方案

性能瓶颈分析

原始代码慢核心是三个问题:

  • 两层Python原生循环执行2000*2000=400万次运算,Python本身循环开销极高
  • 每次循环都通过pandas的loc接口取数、重复转numpy数组,冗余的IO开销占了很大比例
  • 存在大量重复计算:例如成对相似度是对称的(cosine_sim(a,b) = cosine_sim(b,a))、每行的范数被重复计算了2000次

通用自定义函数适配优化方案

这个方案可以适配后续更换任意自定义成对计算函数,仅需要函数内部使用numpy运算即可,速度可以提升数十倍到上百倍,2000*2000规模通常几秒到几十秒就能跑完:

import numpy as np
import pandas as pd
from numba import jit

# 1. 预处理:提前提取df的数值数组,避免反复调用pandas索引
arr = df.values
n = arr.shape[0]
result = np.zeros((n, n), dtype=np.float64)

# 2. 自定义计算函数加jit装饰器,numba会将函数编译为机器码执行,大幅提速
@jit(nopython=True)
def cosine_sim(x, y):
    dot = np.dot(x, y)
    norma = np.linalg.norm(x)
    normb = np.linalg.norm(y)
    cos = dot / (norma * normb)
    return cos

# 3. 利用成对计算的对称性,仅计算上三角区域,直接减少一半计算量
@jit(nopython=True)
def calc_pairwise(arr, n):
    for i in range(n):
        # 对角元素单独计算
        result[i, i] = cosine_sim(arr[i], arr[i])
        # 仅计算j>i的区域,结果直接赋值给对称位置
        for j in range(i + 1, n):
            val = cosine_sim(arr[i], arr[j])
            result[i, j] = val
            result[j, i] = val
    return result

# 执行计算并转成目标DataFrame格式
result = calc_pairwise(arr, n)
pairwise_df = pd.DataFrame(result, index=df.index, columns=df.index)

如果自定义计算函数不满足对称性,直接去掉对称赋值逻辑,保留jit加速和numpy预处理即可,也比原始代码快很多。

特定函数(如余弦相似度)极致优化方案

如果是余弦相似度这类可以完全向量化的计算,不需要循环,毫秒级就能得到结果:

arr = df.values
# 提前计算所有行的范数
norm = np.linalg.norm(arr, axis=1, keepdims=True)
# 矩阵乘法直接得到所有行的点积结果
dot_matrix = arr @ arr.T
# 批量计算所有成对余弦相似度
cos_matrix = dot_matrix / (norm @ norm.T)
# 转成目标DataFrame
pairwise_df = pd.DataFrame(cos_matrix, index=df.index, columns=df.index)

注意事项

  • 使用numba加速时,自定义函数内部不要使用pandas相关接口,仅用numpy运算和基础Python语法即可正常编译
  • 2000*2000的结果矩阵内存占用仅约30M(float64格式),不存在内存压力

内容的提问来源于stack exchange,提问作者dddxxx

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 13:30:05