Pandas：无需索引对齐计算两个DataFrame的列相关性

嘿，我来帮你搞定这个Pandas相关性计算的问题！

首先得搞懂为什么你的相关性计算会失效——Pandas的默认操作（包括corr()和corrwith()）都会严格按索引匹配行。也就是说，它会先把两个DataFrame里索引相同的行配对，索引不匹配的行直接填充成NaN；而计算相关性时，NaN会被自动排除，这就导致你计算的根本不是两列所有数值的相关性，只是索引重合部分的结果，自然和预期不符。

举个直观的例子：

import pandas as pd

# 两个列名相同但索引不重合的DataFrame
df1 = pd.DataFrame({'score': [80, 90, 75]}, index=[1, 2, 3])
df2 = pd.DataFrame({'score': [70, 85, 95]}, index=[3, 4, 5])

# 默认按索引对齐，只有索引3的行能匹配，结果是NaN（样本量太少）
print(df1['score'].corr(df2['score']))

你需要让Pandas跳过索引对齐，直接把两列的数值按顺序配对计算。这里有两种简单有效的方法：

方法1：提取为无索引的数值数组 #

直接把列转成NumPy数组（或者不带索引的Series），这样就完全脱离索引的束缚了：

import pandas as pd
import numpy as np

def correlation(indv1, indv2):
    corr_dict = {}
    # 遍历每一列（因为列名完全相同，直接循环即可）
    for col in indv1.columns:
        # 提取列的数值数组
        vals1 = indv1[col].to_numpy()
        vals2 = indv2[col].to_numpy()
        # 计算相关性：可以用numpy的corrcoef，或者pandas的Series.corr
        # 注意：如果两个列长度不一样，这里会报错，你可以根据需求处理（比如截断或补值）
        corr = np.corrcoef(vals1, vals2)[0, 1]
        corr_dict[col] = round(corr, 4)
    return corr_dict

方法2：重置索引后统一对齐 #

把两个DataFrame的索引都重置为从0开始的整数，这样行就会按原始顺序一一对应：

import pandas as pd

def correlation(indv1, indv2):
    # 重置索引，drop=True避免把旧索引转为新列
    df1_reset = indv1.reset_index(drop=True)
    df2_reset = indv2.reset_index(drop=True)
    # 用corrwith直接计算每列的相关性
    return df1_reset.corrwith(df2_reset).to_dict()

你可能会疑惑，为什么Pandas要搞这个“麻烦”的索引对齐？其实这是Pandas的核心设计之一，目的是保证数据的语义一致性。比如你处理时间序列数据（索引是日期），一个DF是每日销售额，另一个是每日营销费用，索引对齐能确保你不会把1号的销售额和2号的费用配对计算，这在有明确行标识的场景下非常实用。但像你的场景里，索引没有实际意义，只是行的位置标记，这时候就需要手动绕过它啦。

内容的提问来源于stack exchange，提问作者Eduardo macedo