You need to enable JavaScript to run this app. Pandas ewm指数加权协方差底层实现及在线版开发咨询
优惠活动
大模型
产品
解决方案
定价
更多

Pandas ewm指数加权协方差底层实现及在线版开发咨询

Pandas EWM 协方差实现逻辑与在线增量计算方案

核心参数映射

你调用df.ewm(span=5)时,首先会计算固定衰减因子α:

  • 按Pandas规则,指定span时 $\alpha = \frac{2}{span + 1}$,对应例子中span=5的α为1/3≈0.3333
  • Pandas EWM默认adjust=True,在线计算场景下优先使用adjust=False的递推形式,两者结果可通过归一化因子转换对齐。

底层计算逻辑

adjust=True(Pandas默认实现)

该模式为全量历史加权计算,无天然递推关系,每一步需依赖所有历史数据的累积权重:

  1. 对时刻t,距离当前越早的历史数据权重越低,i时刻(i从0到t)的权重为$w_i = (1-\alpha)^{t-i}$
  2. 加权均值计算:
    $\mu_x^{(t)} = \frac{\sum_{i=0}^t w_i x{(i)}}{\sum_{i=0}t w_i}$,$\mu_y^{(t)} = \frac{\sum_{i=0}^t w_i y{(i)}}{\sum_{i=0}t w_i}$
  3. 协方差计算:
    $\text{Cov}^{(t)}(x,y) = \frac{\sum_{i=0}^t w_i (x^{(i)} - \mu_x{(t)})(y{(i)} - \mu_y{(t)})}{\sum_{i=0}t w_i}$
    这种模式每一步都需要全量历史数据,不适合在线增量更新。

adjust=False(递推实现,适配在线计算)

该模式为纯递推结构,每一步计算仅依赖上一时刻的状态值,完全匹配你需要的缓存历史状态、增量更新的需求,公式为:

  1. 加权均值递推:
    $\mu_x^{(t)} = \alpha \cdot x^{(t)} + (1-\alpha) \cdot \mu_x^{(t-1)}$
    $\mu_y^{(t)} = \alpha \cdot y^{(t)} + (1-\alpha) \cdot \mu_y^{(t-1)}$
  2. 协方差递推:
    $\text{Cov}^{(t)}(x,y) = \alpha \cdot (x^{(t)} - \mu_x{(t)})(y{(t)} - \mu_y^{(t)}) + (1-\alpha) \cdot \text{Cov}^{(t-1)}(x,y)$

在线增量计算落地规则

需要缓存的状态

每一组待计算协方差的变量对$(x,y)$,仅需缓存3个值即可,无需保存全量历史数据:

  • 上一时刻的x加权均值 $\mu_x_{old}$
  • 上一时刻的y加权均值 $\mu_y_{old}$
  • 上一时刻的协方差值 $\text{Cov}_{old}$

新数据更新步骤

当新的有效数据$(x_{new}, y_{new})$到来时,按以下顺序计算:

  1. 更新x、y的加权均值:
    • $\mu_x_{new} = \alpha \cdot x_{new} + (1-\alpha) \cdot \mu_x_{old}$
    • $\mu_y_{new} = \alpha \cdot y_{new} + (1-\alpha) \cdot \mu_y_{old}$
  2. 计算当前数据的离差乘积:$d = (x_{new} - \mu_x_{new}) \cdot (y_{new} - \mu_y_{new})$
  3. 更新协方差:
    • $\text{Cov}{new} = \alpha \cdot d + (1-\alpha) \cdot \text{Cov}{old}$
  4. 用新的$\mu_x_{new}$、$\mu_y_{new}$、$\text{Cov}_{new}$覆盖缓存值,供下一次更新使用。

特殊情况处理

  • 首个有效非NaN数据到来时,直接将初始$\mu_x = x$、$\mu_y = y$、$\text{Cov} = 0$存入缓存即可
  • 新数据为NaN时直接跳过,不更新缓存状态

与Pandas默认输出对齐方法

如果你需要和Pandas默认adjust=True的结果完全匹配,只需在递推结果上乘以归一化因子:

  • 累积权重和 $S_t = \frac{1 - (1-\alpha)^{t+1}}{\alpha}$(t为当前有效非NaN数据的索引,从0开始计数)
  • 最终对齐后的协方差 = adjust=False的协方差 $\cdot \frac{\alpha}{S_t}$

若需要和Pandas的ignore_na=True参数对齐,计算$S_t$时直接按有效数据的个数计数即可,遇到NaN不更新t的数值。


内容的提问来源于stack exchange,提问作者Michael

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 12:57:05