Pandas中ewm(halflife='4 days', times='T').std()返回全部NaN的问题排查

你遇到的这个情况其实是Pandas在处理**时间权重EWM（指数加权移动）**标准差计算时的一个历史行为，既不是你API用错了，也不是概念理解偏差，本质是早期版本的Pandas在这种场景下没有正确初始化标准差计算所需的统计量。

为什么会出现这种差异？ #

• mean方法正常的原因：指数加权均值只需要跟踪两个核心统计量——加权值的总和、权重的总和。Pandas在时间权重EWM的逻辑里，正确初始化了这两个值，所以从第二个数据点开始就能得到有效结果。
• span参数的std正常的原因：当使用span（固定窗口跨度）时，Pandas采用的是固定权重的EWM计算逻辑，会自动初始化标准差所需的所有统计量（比如加权平方和），因此能正常输出结果。
• 时间权重std全NaN的原因：在旧版本的Pandas中，时间权重EWM的标准差计算逻辑存在疏漏，没有正确初始化加权平方和这类统计量，导致所有计算结果都返回NaN。

解决方案 #

有两种方法可以解决这个问题：

1. 升级Pandas版本：这个问题在Pandas 1.3.0及以上的版本中已经被修复，升级后直接运行你的原始代码就能得到预期结果。
2. 手动指定adjust=False参数：如果暂时无法升级版本，强制使用递归式的EWM计算逻辑，这样会正确跟踪所有统计量：

   import pandas as pd
   import numpy as np
   
   df = pd.DataFrame({ 
       'B': [0, 1, 2, np.nan, 4], 
       'T': pd.DatetimeIndex(['2020-01-01', '2020-01-03', '2020-01-10', '2020-01-15', '2020-01-17']) 
   })
   df.ewm(halflife='4 days', times='T', adjust=False).std()
   

   运行后会得到符合你预期的结果：

   B
   0       NaN
   1  0.707107
   2  0.919866
   3  0.919866
   4  1.720513
   

关于你的预期验证 #

你的预期完全正确：第一个数据点因为只有单个值，无法计算标准差，所以返回NaN；从第二个数据点开始，应该能得到有效的标准差结果。

内容的提问来源于stack exchange，提问作者Johanna Appel