如何高效构建大TF-IDF矩阵的Bray-Curtis距离矩阵？

你的代码运行慢的核心问题是双重循环逐对计算距离——这是Python中效率最低的计算方式，再加上把稀疏TF-IDF矩阵转成密集数组（X.toarray()）占用了大量内存（9069×22210的密集矩阵约占1.6GB内存），进一步拖慢了计算速度。以下是几种高效的替代方案：

推荐方案：用sklearn的pairwise_distances直接处理稀疏矩阵 #

sklearn的pairwise_distances专门针对批量样本距离计算做了优化，支持稀疏矩阵输入（无需转密集），内部用向量化操作替代Python循环，速度提升非常明显：

from sklearn.metrics.pairwise import pairwise_distances
import numpy as np

# 直接基于稀疏TF-IDF矩阵计算Bray-Curtis距离
distMatrix = pairwise_distances(X, metric='braycurtis')

# 保存距离矩阵
np.savetxt("dist.csv", distMatrix, delimiter=",")

备选方案：用scipy的pdist + squareform #

如果你的机器内存足够容纳密集矩阵，可以用scipy的pdist先计算所有两两样本的距离（返回一维压缩结果），再用squareform转成对称矩阵：

from scipy.spatial.distance import pdist, squareform
import numpy as np

# 转密集矩阵（仅当内存允许时使用）
arrX = X.toarray()
# 计算压缩形式的距离向量
dist_vector = pdist(arrX, metric='braycurtis')
# 转成对称距离矩阵
distMatrix = squareform(dist_vector)

np.savetxt("dist.csv", distMatrix, delimiter=",")

关键优化点说明 #

1. 避免Python循环：上述方案都用底层优化的向量化计算（C/Fortran实现），比双重循环快几个数量级
2. 保留稀疏矩阵：推荐方案不需要转密集矩阵，节省大量内存，避免内存带宽瓶颈
3. 利用对称性：Bray-Curtis距离是对称的（dist(i,j)=dist(j,i)），优化后的方法只会计算一半的距离对，再自动填充对称部分，减少一半计算量

内容的提问来源于stack exchange，提问作者Mahdi