Python面板数据计算A、B组hours与组C的相关性实现

需求核心 #

• 输入为长格式面板数据，包含分组列group、时间列year、目标变量hours
• 计算逻辑：按同一年份对齐不同组的hours取值，形成每个组对应的时间序列，计算序列间的相关系数
• 最终需输出两个结果：corr(hours_A, hours_C)、corr(hours_B, hours_C)
• 之前代码的问题：data.groupby('group').corr()是拆分每个组的内部子集后计算组内变量相关性，未将跨组的同时间点数值做横向对齐，无法得到跨组相关性结果。

最小可跑实现方案 #

适配Python初学者，无复杂嵌套索引操作，代码逻辑直观：

1. 利用pandas的pivot函数一步完成长转宽，按年份对齐所有组的hours值，跳过无关的其他变量列减少冗余计算
2. 对已对齐的宽表直接调用corr()计算皮尔逊相关系数矩阵
3. 从矩阵中提取需要的两组相关系数值

完整可直接运行的代码：

import pandas as pd

# 长表转宽表：索引为年份，列名是组标签，值为对应hours数值
hours_aligned = data.pivot(
    index="year",
    columns="group",
    values="hours"
)

# 计算对齐后序列的相关性矩阵
corr_table = hours_aligned.corr()

# 提取目标结果
corr_AC = corr_table.loc["A", "C"]
corr_BC = corr_table.loc["B", "C"]

# 输出验证
print(f"corr(hours_A, hours_C) = {corr_AC:.4f}")
print(f"corr(hours_B, hours_C) = {corr_BC:.4f}")

与自行调试方案的对比 #

你之前的实现核心逻辑是正确的，都是通过转宽表对齐跨组的时间序列后计算相关性，两种方法的计算结果完全等价，新方案做了以下简化：

• 去掉了冗余的多级索引设置、unstack拆分层级、列名重命名、年份转datetime等操作，pivot单函数即可完成长转宽对齐，代码可读性更强
• 无多余的数据类型转换，每一步的输入输出都可以直接打印查看结构，方便调试
• 对齐后的宽表结构本身以年份为索引，可直接复用于后续的截面分析需求，无需额外调整索引结构

注：跨组计算时间序列相关性必须按时间维度对齐不同组的取值，这个对齐操作是计算的必需步骤；对齐后的宽表结构可支撑后续的截面数据生成等拓展操作。

内容的提问来源于stack exchange，提问作者fatpandabot