Python嵌套循环计算DataFrame列相关系数时如何获取唯一列对
解决方法
输出重复是因为双层循环会遍历所有有序列对,对称的列对(col1, col2)和(col2, col1)都会被判定为符合条件的结果,而两列的相关系数本身是对称的,因此会出现重复输出。
直接使用itertools.combinations生成无序、不重复的两两列对即可消除重复,优化后的代码如下:
import itertools # 预先筛选出需要参与相关系数计算的列 valid_cols = [col for col in df.columns if col not in ["Country", "Status"]] # 遍历所有不重复的两列组合,每个列对仅出现一次 for col1, col2 in itertools.combinations(valid_cols, 2): corr = round(df[col1].corr(df[col2]), 2) if abs(corr) > 0.5: print(col1, col2, corr)
改动说明
- 提前过滤无效列:将不需要参与计算的
Country、Status列提前筛除,无需在每次循环中重复判断,减少冗余计算 itertools.combinations(valid_cols, 2)会生成所有长度为2的无顺序不重复元素组合,从根源上避免了顺序颠倒的重复列对- 用绝对值判断
abs(corr) > 0.5替代原有的两个阈值判断,逻辑完全一致,代码更简洁
内容的提问来源于stack exchange,提问作者beridzeg45
相关产品推荐
相关产品推荐

