Pandas rolling.corr遇NaN返回全NaN 与DataFrame.corr行为不一致

核心原因 #

Pandas 1.x版本中rolling.corr的默认空值处理逻辑与DataFrame.corr()存在明确差异：

• DataFrame.corr()默认采用*成对删除（pairwise deletion）*逻辑：计算两列相关性时，自动忽略任意一列存在NaN的行，用剩余有效样本计算结果
• rolling.corr在未指定参数时默认采用整块删除逻辑：只要窗口范围内任意位置存在NaN，整窗相关性直接返回NaN。此时min_periods参数仅校验窗口内非NaN值的总数量，不会改变整块删除的空值处理规则，因此会出现参数看似不生效的现象。

适配方案 #

方案1：Pandas 1.4及以上版本直接开启pairwise参数 #

直接在rolling.corr中传入pairwise=True，即可和DataFrame.corr()的空值处理逻辑完全对齐，计算时自动忽略窗口内的NaN值，同时保留完整时间序列索引，不会出现时间错位问题：

import pandas as pd
import numpy as np

df = pd.DataFrame({'B': [0, 1, 3, np.nan, 4,5,6],'A': [0, 1, 2,3, 4,5,6]})
df["corr"] = df['A'].rolling(4, min_periods=1).corr(df['B'], pairwise=True)
print(df["corr"])

运行后包含NaN的窗口会自动剔除缺值行，用剩余有效样本计算相关性，结果和手动截取窗口调用df.corr()的输出完全一致。

方案2：低版本Pandas自定义滚动计算逻辑 #

如果使用的Pandas版本低于1.4、不支持pairwise参数，可以通过rolling.apply自定义窗口计算函数，在窗口内手动调用默认相关性方法实现空值跳过：

def roll_corr(window_series, target_series):
    window_df = pd.DataFrame({
        'base': window_series,
        'target': target_series.loc[window_series.index]
    })
    return window_df.corr().loc['base', 'target']

df["corr_custom"] = df['A'].rolling(4, min_periods=1).apply(
    lambda x: roll_corr(x, df['B'])
)

注意：时间序列场景下禁止提前删除含NaN的行再做滚动计算，该操作会破坏时间索引的连续性，导致窗口对应的时间周期完全错位。

内容的提问来源于stack exchange，提问作者Miojo_Esperto