关于pandas.core.window.ewm.ExponentialMovingWindow.var的bias参数含义的技术问询

1. 参数核心含义 #

pandas.core.window.ewm.ExponentialMovingWindow.var中的bias参数，本质是控制指数加权移动方差是否进行无偏性校正，和传统统计学中的无偏样本方差直接相关。

2. 数学公式推导 #

先定义基础符号：

• 时间序列样本：$x_1, x_2, ..., x_t$
• 指数权重：$\omega_i = (1-\alpha)^{t-i}$（$\alpha$为平滑系数，越新的数据权重越高）
• 权重总和：$W = \sum_{i=1}^t \omega_i$
• 指数移动均值：$\bar{x}t = \frac{1}{W}\sum{i=1}^t \omega_i x_i$

有偏加权方差（bias=True） #

直接计算加权平方偏差的均值，此时结果会系统性低估总体方差：
$$
\text{Var}{\text{biased}} = \frac{1}{W}\sum{i=1}^t \omega_i (x_i - \bar{x}_t)^2
$$

无偏加权方差（bias=False） #

通过乘以校正系数消除偏差，让估计量的期望等于真实总体方差：
校正系数：
$$
C = \frac{W^2}{W2 - \sum_{i=1}^t \omega_i^2}
$$
无偏方差计算公式：
$$
\text{Var}{\text{unbiased}} = C \times \text{Var}{\text{biased}} = \frac{W}{W^2 - \sum \omega_i^2} \times \sum \omega_i (x_i - \bar{x}_t)^2
$$

这个校正逻辑和普通样本方差用$n-1$代替$n$的思路一致，但因为是加权分布，校正系数需要根据权重的离散程度计算，而非简单的样本量比例。

3. 默认值为False的原因 #

pandas将bias默认设为False，核心是为了满足统计推断的需求：

• 当数据是总体的抽样样本时，无偏估计能避免系统性低估方差，更符合统计严谨性
• 尽管增加了校正计算的复杂度，但对于绝大多数数据分析场景，无偏性的优先级高于计算效率

4. 代码验证 #

以下代码复现了pandas的EWM方差计算逻辑，验证了无偏校正的正确性：

import numpy as np
import pandas as pd

def calc_ewm_var(array: np.array, alpha):
    ewm_var_list = []
    data_len = len(array)
    for i in range(data_len):
        win_data = array[:i+1]
        ewmvar = calc_win_ewm_var(win_data, alpha)
        ewm_var_list.append(ewmvar)
    return np.array(ewm_var_list)

def calc_win_ewm_var(win_data, alpha):
    win_len = len(win_data)
    weight_arr = (1 - alpha)**np.arange(win_len-1, -1, -1)
    
    # 计算指数移动均值
    ewma = np.sum(weight_arr * win_data) / np.sum(weight_arr)
    
    # 计算无偏校正系数
    bias_denom = (np.sum(weight_arr)**2 - np.sum(weight_arr**2))
    if bias_denom == 0:
        return np.nan
    bias = np.sum(weight_arr)**2 / bias_denom
    
    # 计算无偏EWM方差
    ewmvar = bias * np.sum(weight_arr * (win_data - ewma)**2) / np.sum(weight_arr)    
    return ewmvar

# 测试数据
l = [12.0, 12.5, 13.1, 14.6, 17.8, 19.1, 24.5]
sz = pd.Series(l)
alpha = 0.1
span = 2/alpha - 1  # span=19

# pandas官方计算结果
ewmv_pd = sz.ewm(alpha=alpha).var()  # bias默认False
ewmv_pd.name = "ewmvar_pd"
ewmstd_pd = sz.ewm(alpha=alpha).std()
ewmstd_pd.name = "ewmstd_pd"

# 自定义计算结果
array = sz.values
ewm_var_calced = calc_ewm_var(array, alpha)
ewm_std_calced = np.sqrt(ewm_var_calced)

# 合并结果对比
ewm_pd_data = pd.concat([ewmv_pd, ewmstd_pd], axis=1)
ewm_pd_data["ewm_var_calced"] = ewm_var_calced
ewm_pd_data["ewm_std_calced"] = ewm_std_calced
ewm_pd_data = ewm_pd_data[["ewmvar_pd", "ewm_var_calced", "ewmstd_pd", "ewm_std_calced"]]

print(ewm_pd_data)

5. 结果对比 #

运行代码后，自定义计算结果与pandas官方结果完全一致，证明了校正逻辑的准确性：

内容的提问来源于stack exchange，提问作者SolKul