如何按非重叠月段计算两个pandas日度DataFrame的月度相关系数

嘿，我懂你想摆脱繁琐的循环，用更贴合pandas风格的高效方法来搞定这个需求！咱们直接上干货：

问题回顾 #

我们有两个结构完全一致的日度DataFrame（df1和df2），要按非重叠日历月分组，计算每个月内两DataFrame对应列的日度数据相关系数，最终得到一个以月份为索引、列名为['a','b','c']的结果表。

完整实现代码 #

先补全你的示例代码（补上numpy导入），再给出核心解决方案：

import pandas as pd
import numpy as np

# 生成示例数据
dates = pd.date_range('2016-01-01', '2018-01-01')
ndays = len(dates)
df1 = pd.DataFrame(np.random.rand(ndays, 3), columns=['a','b','c'], index=dates)
df2 = pd.DataFrame(np.random.rand(ndays, 3), columns=['a','b','c'], index=dates)

# 核心实现步骤
# 1. 合并为多层列DataFrame，区分两个数据源
combined = pd.concat([df1, df2], axis=1, keys=['df1', 'df2'])

# 2. 按日历月分组，计算每组内对应列的相关系数
monthly_corr = combined.resample('M').apply(
    lambda x: x['df1'].corrwith(x['df2'], axis=0)
)

# 可选：将月末日期索引转为YYYY-MM格式，更直观
monthly_corr.index = monthly_corr.index.strftime('%Y-%m')

# 查看结果
print(monthly_corr)

关键步骤解释 #

• 合并多层列：用pd.concat的keys参数给两个DataFrame的列加上层级标签，这样后续分组后能快速定位到df1和df2的对应列，避免混淆。
• 月度分组计算：resample('M')是pandas时间序列特有的分组方式，自动按非重叠日历月拆分数据；corrwith方法专门用来计算两个DataFrame对应列的相关系数，完美匹配我们的列级计算需求，整个过程没有显式循环，完全利用pandas的向量化操作。
• 索引优化：默认的月度分组索引是月末日期（比如2016-01-31），转成YYYY-MM格式后可读性更强，如果你需要保留原日期索引可以跳过这一步。

替代方案（用groupby实现） #

如果你更习惯用groupby，也可以达到同样效果：

monthly_corr = combined.groupby(pd.Grouper(freq='M')).apply(
    lambda x: x['df1'].corrwith(x['df2'], axis=0)
)

这种实现方式完全遵循pandas的高效设计，数据量越大，相比手动循环的性能优势越明显！

内容的提问来源于stack exchange，提问作者crow_t_robot