为何Pandas groupby agg的std在单样本组返回NaN而非0？

这是个非常合理的疑问！其实核心原因和标准差的统计学定义以及pandas的默认行为有关：

1. 统计学上的样本标准差逻辑 #

标准差是用来衡量数据集合中数值离散程度的指标。当分组里只有1个数据点时，从统计学角度来说，我们无法计算样本标准差——因为样本标准差的计算公式分母是 n-1（n 是样本量，这里n=1，分母就变成了0，数学上无法进行除法运算），所以结果会是NaN。

这里要区分两个概念：

• 样本标准差（pandas默认）：分母为n-1，用于从样本估计总体的离散程度，是无偏估计。
• 总体标准差：分母为n，当数据就是整个总体时使用，此时n=1的话，计算结果就是0（因为唯一数据和均值的差为0，平方和除以1还是0，开根号后是0）。

2. pandas的默认行为 #

pandas里的std()方法默认参数是ddof=1（自由度为1），也就是计算样本标准差。这就是为什么你看到单样本分组的std是NaN。

如果你希望单样本分组的std显示为0，可以修改参数，指定计算总体标准差（ddof=0），调整你的代码如下：

df['PopEst'] \
  .astype('float') \
  .groupby(ContinentDict) \
  .agg(['size','sum','mean', ('std', lambda x: x.std(ddof=0))])

这样修改后，像Australia、South America这类单样本分组的std就会显示为0了。

内容的提问来源于stack exchange，提问作者Alex J