如何高效计算Numpy中两个二维数组各行间的相关系数？

确实，np.corrcoef(ma, mb)[:n_rows_ma, n_rows_ma:]这种方法会做很多冗余计算——它会计算ma内部所有行的两两相关、mb内部所有行的两两相关，而这些都是你不需要的，所以当数组规模较大时，效率会明显下降。

更高效的实现思路 #

相关系数的本质是两个标准化向量的点积。对于向量x和y，它们的相关系数可以表示为：

$$r = \frac{(x - \bar{x}) \cdot (y - \bar{y})}{\sigma_x \sigma_y}$$

基于这个公式，我们可以直接计算ma每行与mb每行的交叉相关，完全跳过不需要的内部相关计算：

具体代码实现 #

import numpy as np

def cross_corr(ma, mb):
    # 标准化ma的每一行：(行 - 行均值) / 行标准差
    ma_centered = ma - ma.mean(axis=1, keepdims=True)
    ma_std = ma.std(axis=1, keepdims=True)
    # 处理标准差为0的情况（避免除以0）
    ma_std[ma_std == 0] = np.nan
    ma_norm = ma_centered / ma_std

    # 标准化mb的每一行
    mb_centered = mb - mb.mean(axis=1, keepdims=True)
    mb_std = mb.std(axis=1, keepdims=True)
    mb_std[mb_std == 0] = np.nan
    mb_norm = mb_centered / mb_std

    # 计算点积，得到(n_rows_ma, n_rows_mb)的相关系数矩阵
    return np.dot(ma_norm, mb_norm.T)

为什么这个方法更高效？ #

• 只计算我们需要的ma行与mb行的交叉相关，没有冗余计算
• 所有操作都是numpy的向量化运算，比循环或者全量相关计算快得多
• 可以灵活处理标准差为0的边界情况（比如某行所有元素相同，此时相关系数无意义，设为nan）

你可以用这个函数替代原来的方法，尤其是当n_rows_ma和n_rows_mb较大时，性能提升会非常明显。

内容的提问来源于stack exchange，提问作者newbie