Pandas ewm指数加权协方差底层实现及在线版开发咨询
Pandas EWM 协方差实现逻辑与在线增量计算方案
核心参数映射
你调用df.ewm(span=5)时,首先会计算固定衰减因子α:
- 按Pandas规则,指定
span时 $\alpha = \frac{2}{span + 1}$,对应例子中span=5的α为1/3≈0.3333 - Pandas EWM默认
adjust=True,在线计算场景下优先使用adjust=False的递推形式,两者结果可通过归一化因子转换对齐。
底层计算逻辑
adjust=True(Pandas默认实现)
该模式为全量历史加权计算,无天然递推关系,每一步需依赖所有历史数据的累积权重:
- 对时刻t,距离当前越早的历史数据权重越低,i时刻(i从0到t)的权重为$w_i = (1-\alpha)^{t-i}$
- 加权均值计算:
$\mu_x^{(t)} = \frac{\sum_{i=0}^t w_i x{(i)}}{\sum_{i=0}t w_i}$,$\mu_y^{(t)} = \frac{\sum_{i=0}^t w_i y{(i)}}{\sum_{i=0}t w_i}$- 协方差计算:
$\text{Cov}^{(t)}(x,y) = \frac{\sum_{i=0}^t w_i (x^{(i)} - \mu_x{(t)})(y{(i)} - \mu_y{(t)})}{\sum_{i=0}t w_i}$
这种模式每一步都需要全量历史数据,不适合在线增量更新。
adjust=False(递推实现,适配在线计算)
该模式为纯递推结构,每一步计算仅依赖上一时刻的状态值,完全匹配你需要的缓存历史状态、增量更新的需求,公式为:
- 加权均值递推:
$\mu_x^{(t)} = \alpha \cdot x^{(t)} + (1-\alpha) \cdot \mu_x^{(t-1)}$
$\mu_y^{(t)} = \alpha \cdot y^{(t)} + (1-\alpha) \cdot \mu_y^{(t-1)}$- 协方差递推:
$\text{Cov}^{(t)}(x,y) = \alpha \cdot (x^{(t)} - \mu_x{(t)})(y{(t)} - \mu_y^{(t)}) + (1-\alpha) \cdot \text{Cov}^{(t-1)}(x,y)$
在线增量计算落地规则
需要缓存的状态
每一组待计算协方差的变量对$(x,y)$,仅需缓存3个值即可,无需保存全量历史数据:
- 上一时刻的x加权均值 $\mu_x_{old}$
- 上一时刻的y加权均值 $\mu_y_{old}$
- 上一时刻的协方差值 $\text{Cov}_{old}$
新数据更新步骤
当新的有效数据$(x_{new}, y_{new})$到来时,按以下顺序计算:
- 更新x、y的加权均值:
- $\mu_x_{new} = \alpha \cdot x_{new} + (1-\alpha) \cdot \mu_x_{old}$
- $\mu_y_{new} = \alpha \cdot y_{new} + (1-\alpha) \cdot \mu_y_{old}$
- 计算当前数据的离差乘积:$d = (x_{new} - \mu_x_{new}) \cdot (y_{new} - \mu_y_{new})$
- 更新协方差:
- $\text{Cov}{new} = \alpha \cdot d + (1-\alpha) \cdot \text{Cov}{old}$
- 用新的$\mu_x_{new}$、$\mu_y_{new}$、$\text{Cov}_{new}$覆盖缓存值,供下一次更新使用。
特殊情况处理
- 首个有效非NaN数据到来时,直接将初始$\mu_x = x$、$\mu_y = y$、$\text{Cov} = 0$存入缓存即可
- 新数据为NaN时直接跳过,不更新缓存状态
与Pandas默认输出对齐方法
如果你需要和Pandas默认adjust=True的结果完全匹配,只需在递推结果上乘以归一化因子:
- 累积权重和 $S_t = \frac{1 - (1-\alpha)^{t+1}}{\alpha}$(t为当前有效非NaN数据的索引,从0开始计数)
- 最终对齐后的协方差 = adjust=False的协方差 $\cdot \frac{\alpha}{S_t}$
若需要和Pandas的
ignore_na=True参数对齐,计算$S_t$时直接按有效数据的个数计数即可,遇到NaN不更新t的数值。
内容的提问来源于stack exchange,提问作者Michael
相关产品推荐
相关产品推荐

