pandas执行df.corr()计算相关性出现NaN值问题咨询

问题原因 #

df.corr() 默认计算皮尔逊相关系数，出现大量NaN通常是以下几种原因：

• 数据框中包含大量非数值类型列（比如字符串格式的产品ID、分类名、文本描述等），皮尔逊相关系数仅支持数值类型变量计算，非数值列参与计算会直接返回NaN
• 部分列所有取值完全一致，方差为0，相关系数计算时分母为0，返回NaN
• 列中存在大量缺失值，两列的共同非缺失值数量不足，无法完成计算返回NaN

解决步骤 #

1. 先筛选数值类型列再计算相关性
   执行代码查看所有列的类型：

print(df.dtypes)

仅保留数值类型列后重新计算：

num_df = df.select_dtypes(include=['int64', 'float64'])
print(num_df.corr())

2. 排除无方差的常量列
   如果某列所有值相同，计算相关性没有实际意义，可以先删除这类列：

# 保留唯一值数量大于1的列
valid_df = num_df.loc[:, num_df.nunique() > 1]
print(valid_df.corr())

3. 处理缺失值
   可以选择删除缺失值占比过高的列，或者计算时指定最小有效样本量，也可以先填充缺失值后再计算：

# 方式1：指定计算时最少需要的有效样本量
print(valid_df.corr(min_periods=5))
# 方式2：先填充缺失值再计算
filled_df = valid_df.fillna(valid_df.mean())
print(filled_df.corr())

4. 非数值变量相关性计算
   如果你需要计算分类变量的相关性，不要使用默认的皮尔逊相关：

• 等级变量/有序分类变量可改用斯皮尔曼相关：df.corr(method='spearman')
• 无序分类变量之间的相关性可使用卡方检验、互信息等方法计算

内容的提问来源于stack exchange，提问作者Dark Coder