如何计算单列数值间的相关性？基于大型DataFrame的技术咨询

嘿，我来帮你搞定这个DataFrame相关性计算的问题！针对你这个列名带层级结构的大型DataFrame，我给你整理了一套清晰的操作步骤：

你的列名都是用斜杠分隔的层级结构，比如1月1日人口/人口构成/性别/男性（数量），先把它们转成Pandas的多级索引（MultiIndex），后续筛选列会直观太多：

import pandas as pd

# 假设你的DataFrame叫df
df.columns = pd.MultiIndex.from_tuples([tuple(col.split('/')) for col in df.columns])

转完之后，你就可以像剥洋葱一样找列：比如df['1月1日人口']['人口构成']['性别']['男性（数量）']，比硬敲一长串原列名舒服多了。

比如你想算男性人口和5岁以下人口的相关性，两种方式选其一：

• 已经转成多级索引的情况：

male_pop = df['1月1日人口']['人口构成']['性别']['男性（数量）']
under5_pop = df['1月1日人口']['人口构成']['年龄']['年龄组']['5岁以下（数量）']

• 没转多级索引，直接用原列名：

male_pop = df['1月1日人口/人口构成/性别/男性（数量）']
under5_pop = df['1月1日人口/人口构成/年龄/年龄组/5岁以下（数量）']

Pandas的corr()方法直接就能搞定，默认是皮尔逊相关系数（适合线性相关的情况），也可以指定斯皮尔曼秩相关（适合非线性或有序分类数据）：

# 皮尔逊相关系数（默认）
pearson_corr = male_pop.corr(under5_pop)
# 斯皮尔曼秩相关系数
spearman_corr = male_pop.corr(under5_pop, method='spearman')

print(f"男性人口与5岁以下人口的皮尔逊相关系数: {pearson_corr:.4f}")
print(f"男性人口与5岁以下人口的斯皮尔曼秩相关系数: {spearman_corr:.4f}")

如果想一次性算所有人口结构列的两两相关性，生成相关矩阵也很简单：

# 筛选所有人口构成相关的列（多级索引版）
pop_struct_cols = df['1月1日人口']['人口构成']
# 或者原列名版：pop_struct_cols = df.filter(regex='^1月1日人口/人口构成')

# 生成相关矩阵
corr_matrix = pop_struct_cols.corr()

# 可选：用热力图可视化相关矩阵
import seaborn as sns
import matplotlib.pyplot as plt

plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.2f')
plt.title('人口构成各指标相关性热力图')
plt.show()

• 确保你选的列都是数值型：如果有非数值数据，先转成数值并处理缺失值：

# 转数值，无法转换的设为NaN
df['目标列名'] = pd.to_numeric(df['目标列名'], errors='coerce')
# 删掉含缺失值的行（或根据需求用填充法）
df_clean = df.dropna(subset=['列1', '列2'])

• 如果需要按市镇/时期分组计算相关性（比如每个市镇自己的人口指标相关性），用groupby就行：

# 按市镇分组，计算每组内男性人口和5岁以下人口的相关性
grouped_corr = df.groupby('gemeente').apply(
    lambda x: x['1月1日人口/人口构成/性别/男性（数量）'].corr(x['1月1日人口/人口构成/年龄/年龄组/5岁以下（数量）'])
)

内容的提问来源于stack exchange，提问作者acefoxy