如何在Pandas中无需循环获取共现矩阵所有组合值并降序排序

嘿，这事儿太好办了！用Pandas的内置方法就能轻松搞定，完全不用写烦人的循环，而且还能完美避开对称矩阵里的重复组合。我给你一步步拆解：

首先，先假设我们有这么一个示例共现矩阵（你可以直接替换成自己的）：

import pandas as pd

# 示例共现矩阵
data = {
    'A': [5, 2, 1, 0],
    'B': [2, 4, 3, 1],
    'C': [1, 3, 5, 2],
    'D': [0, 1, 2, 4]
}
co_occur = pd.DataFrame(data, index=['A', 'B', 'C', 'D'])

接下来分三步操作：

步骤1：把矩阵堆叠成键值对形式 #

用stack()方法把二维矩阵转换成Series，这样每一行的索引就是元素组合（行标签, 列标签），值就是对应的共现值：

stacked = co_occur.stack()

步骤2：过滤掉重复的镜像组合 #

因为你的矩阵是对称的，比如(A,B)和(B,A)的共现值一样，我们只需要保留其中一组。这里我选择保留行标签小于列标签的组合（你也可以反过来，只要统一就行），同时如果不需要自身共现的对角线元素，也一起排除：

# 筛选非重复的元素组合（排除对角线和镜像项）
unique_pairs = stacked[stacked.index.map(lambda x: x[0] < x[1])]

要是你需要包含对角线的自身共现，把条件改成x[0] <= x[1]就好。

步骤3：按共现值降序排列 #

最后直接调用sort_values()方法排序，搞定：

sorted_pairs = unique_pairs.sort_values(ascending=False)

运行后你会得到这样的结果：

C  B    3
B  A    2
C  D    2
C  A    1
B  D    1
A  D    0
dtype: int64

另外，如果你习惯用Numpy的掩码来操作，也可以这么写，效果是一样的：

import numpy as np

# 创建上三角掩码（True表示保留的位置）
mask = np.triu(np.ones(co_occur.shape, dtype=bool))
# 应用掩码并堆叠
stacked_with_mask = co_occur.where(mask).stack()
# 过滤掉对角线元素（如果需要的话）
unique_pairs = stacked_with_mask[stacked_with_mask.index.map(lambda x: x[0] != x[1])]
# 排序
sorted_pairs = unique_pairs.sort_values(ascending=False)

这两种方法都是完全矢量化的操作，比循环效率高多了，尤其是矩阵规模大的时候优势更明显！

内容的提问来源于stack exchange，提问作者AnonX