Pandas计算相关系数超出[-1,1]范围且无法精准筛选的问题排查

原因分析 #

• 浮点数精度误差：pandas计算相关系数时依赖浮点数运算，二进制浮点数无法精确表示所有十进制小数，多次运算后会产生微小偏差，导致本该是±1的结果变成类似-1.0000000000000002或0.9999999999999998的数值。
• 数据重复/近似重复：从你提供的样本数据来看，RPL23A列存在大量重复值，当两列理论上完全线性相关，但因浮点数存储的微小差异，计算出的相关系数会偏离精确的±1。

解决办法 #

1. 用近似匹配替代精确匹配
   放弃直接用corr == -1.0的精确判断，改用numpy.isclose()来检测数值是否接近±1，示例代码：

   import numpy as np
   # 筛选接近-1的相关系数
   corr[np.isclose(corr, -1.0, atol=1e-9)]
   # 筛选接近1的相关系数
   corr[np.isclose(corr, 1.0, atol=1e-9)]
   

   atol参数是绝对容差，1e-9的阈值足以覆盖绝大多数浮点数精度误差，可根据实际情况调整。

2. 提前处理数据精度
   如果数据不需要保留过多小数位，可以先对数值列做四舍五入，减少浮点数误差后再计算相关系数：

   # 保留6位小数，可根据数据实际情况调整位数
   df_rounded = df.round(6)
   corr = df_rounded.corr()
   # 此时再尝试精确匹配可能生效
   corr[corr == -1.0]
   

3. 验证线性关系
   确认两列是否真的完全线性相关：可以通过线性回归查看残差（允许微小的浮点数误差），或者手动检查是否存在y = ax + b的精确线性关系。

内容的提问来源于stack exchange，提问作者Yasir