pd.DataFrame.transform调用np.std计算结果与直接调用不一致问题

问题根因 #

当向pandas的GroupBy.transform()方法传入np.std作为处理函数时，pandas不会直接调用numpy原生的np.std实现，而是调度自身的标准差计算逻辑。pandas的标准差默认自由度参数ddof=1（样本标准差），和numpy默认的ddof=0（总体标准差）规则不一致，因此会出现计算结果不符的情况。

修复方案 #

可选择任意一种方式对齐计算逻辑：

• 方案1：给np.std显式传递ddof参数
  transform方法支持传入额外关键字参数，会自动透传给处理函数：

  import numpy as np
  import pandas as pd
  
  df = pd.DataFrame({"col1": [1, 2, 3, 4, 5, 9],
                     "group": ["a", "a", "a", "b", "b", "b"]})
  std = df.groupby("group")["col1"].transform(np.std, ddof=0)
  

  此时输出结果和np.std默认行为完全一致，分组a的计算结果为0.816496580927726。

• 方案2：使用pandas自带的std方法，显式指定ddof
  直接传入方法名字符串调度pandas原生实现，计算性能更高：

  std = df.groupby("group")["col1"].transform("std", ddof=0)
  

  计算结果和方案1完全一致。

• 方案3：强制调用numpy原生std实现
  如果要完全规避pandas的默认参数干扰，可以通过lambda包装，直接对数值序列计算：

  std = df.groupby("group")["col1"].transform(lambda x: np.std(x.to_numpy()))
  

内容的提问来源于stack exchange，提问作者felice