Pandas rolling apply应用自定义函数报KeyError的原因及解决方案
滚动窗口跨列计算报错的成因与解决方案
报错成因
- 你遇到的
KeyError: 'signal'根本原因是:pandas的Rolling.apply默认逐列独立执行滚动计算,即使你调用的是整个DataFrame的滚动对象,自定义函数只会收到单列的窗口Series(设置raw=True时传入的是单列一维numpy数组),无法访问同窗口下的另一列数据,自然找不到对应列名。 - 给
rolling.apply传axis=1触发TypeError,是因为axis是Rolling构造函数的参数,不属于apply方法的入参;就算正确把axis=1传到Rolling构造逻辑里,也是按列方向滚动,和你需要的按行连续窗口计算逻辑不符。
解决方案
两种方案都比手动iterrows切片更符合pandas使用习惯,性能也更优:
方案一:多列打包为单列Series后滚动apply
核心思路是把需要的两列按行打包为元组,存入一个临时单列Series,这样滚动apply时不需要跨列访问,每个窗口可直接获取所有需要的行数据。
代码示例:
# 按需调整窗口大小 W = 3 # 把两列按行打包成元组,生成临时单列Series df['combined'] = list(zip(df['signal'], df['PnL_binary'])) # 适配打包Series的自定义卡方计算函数 def return_chi2_packed(window_series): # 解包窗口内的所有元组,分别提取两类特征 signal = np.array([row[0] for row in window_series]).reshape(-1, 1) pnl = np.array([row[1] for row in window_series]).reshape(-1, 1) return chi2(signal, pnl)[1][0] # 执行滚动计算,结果为单列Series df['rolling_chi2'] = df['combined'].rolling(window=W).apply(return_chi2_packed) # 移除临时列 df.drop(columns='combined', inplace=True)
方案二:numpy滑动窗口批量计算(更适合大数据量)
用numpy的滑动窗口视图函数直接生成所有滚动窗口的数组,避免pandas apply逐行调用Python函数的开销,数据量较大时性能提升明显。
代码示例:
W = 3 # 生成所有滚动窗口,输出shape为 (窗口数量, 窗口行数, 列数) windows = np.lib.stride_tricks.sliding_window_view( df[['signal', 'PnL_binary']].to_numpy(), window_shape=W, axis=0 ) # 遍历窗口计算卡方p值 p_values = [] for win in windows: # win为 shape (W, 2) 的数组,第一列为signal,第二列为PnL_binary sig = win[:, 0].reshape(-1, 1) pnl = win[:, 1].reshape(-1, 1) p_values.append(chi2(sig, pnl)[1][0]) # 结果填充回DataFrame,前W-1行补NaN df['rolling_chi2'] = np.concatenate([[np.nan] * (W-1), p_values])
内容的提问来源于stack exchange,提问作者user3062260
相关产品推荐
相关产品推荐

