Python大尺寸相关矩阵高效提取值≥x单元格及对应行列信息方法

针对2000x2000规模的相关矩阵，最优方案是使用pandas向量化操作实现，全程无Python层面的循环，效率比嵌套循环高两个数量级，毫秒级即可完成处理。

核心实现代码 #

import pandas as pd

# 你已生成的相关矩阵为df，设置阈值x
x = 0.6

# 1. stack将矩阵转为（行标签, 列标签）为索引的长格式Series
# 2. 布尔索引过滤值≥x的条目
# 3. 重置索引拆分行、列标签为单独列
result = df.stack()[lambda s: s >= x].reset_index()

# 重命名列匹配你需要的输出格式
result.columns = ["row", "col", "value"]
# 可选：调整列顺序，把value放到第一列
result = result[["value", "row", "col"]]

# 可选优化：过滤掉行、列相同的自相关结果（对角线值为1的条目）
# result = result[result["row"] != result["col"]]

效果说明 #

输出的result直接匹配你要求的格式，自带从0开始的整数索引，row、col列存储原始行列标签，value列存储对应的相关系数，所有字段都支持直接后续调用访问。

内容的提问来源于stack exchange，提问作者DM1