Pandas中std函数计算全相同元素序列标准差异常问题咨询

原因分析 #

这是二进制浮点数的精度限制导致的问题：

• 十进制数1612.154152无法被二进制浮点数精确存储，实际存入内存的是它的近似值。
• 虽然你创建的是[1612.154152]*12，但每个元素的二进制存储值存在极其微小的差异（肉眼不可见）。
• 直接调用std()时，这些微小差异在标准差计算中被放大，最终得到一个接近0的极小值。
• 而rolling(12).std()的内部实现逻辑不同，在处理全相同元素的窗口时，会直接判定为无波动返回0（可能是内部做了相等性判断优化，或计算过程的精度处理方式有差异）。

不使用rolling的正确计算方法 #

方法1：用十进制精确类型计算 #

借助Python标准库的decimal模块，以精确的十进制运算替代浮点数运算：

from decimal import Decimal
import pandas as pd

s = pd.Series([Decimal('1612.154152')]*12)
# 手动计算样本标准差（对应pandas默认的ddof=1）
mean = s.mean()
variance = ((s - mean)**2).sum() / (len(s)-1)
std = variance.sqrt()
print(std)  # 输出 Decimal('0')

方法2：对浮点数做精度截断 #

如果不需要极高精度，可以先将序列元素四舍五入到原数的小数位，再计算标准差：

import pandas as pd

s = pd.Series([1612.154152]*12).round(6)
print(s.std())  # 输出 0.0

方法3：利用高精度浮点数计算 #

通过numpy的std函数配合float128类型提升精度，减少误差：

import pandas as pd
import numpy as np

s = pd.Series([1612.154152]*12)
result = np.std(s.to_numpy(), ddof=1, dtype=np.float128)
print(round(result, 10))  # 输出 0.0

内容的提问来源于stack exchange，提问作者Atlantis