Pandas自定义聚合函数针对整数与浮点数的异常行为排查

在Python 3.8.10、Numpy 1.22.1、Pandas 1.3.5环境下，使用自定义聚合函数时，整数型与浮点型DataFrame表现出明显差异：内置numpy.nanmean/numpy.nanstd通过agg调用始终正常，但自定义函数在浮点型DataFrame上结果异常，且整数型DataFrame下内置numpy.nanstd与自定义my_std结果不一致。以下是问题解析与解决方案：

1. 自定义聚合函数在浮点型DataFrame上失效的原因 #

Pandas的agg方法对内置numpy函数和自定义函数的处理逻辑不同：

• 内置numpy函数（如numpy.nanmean）会被Pandas特殊适配，按列传递一维Series数据给函数，符合预期的聚合逻辑。
• 自定义函数在处理浮点型DataFrame时，Pandas会按行传递一维数组数据，此时自定义函数中指定的axis=0失去了按列计算的意义（一维数组无轴0的维度区分），导致计算结果异常。

2. 解决方法 #

有两种可靠方案：

方案一：移除自定义函数的axis参数 #

Pandas传递给聚合函数的是每一列的一维Series，numpy的nanmean/nanstd处理一维数据时无需指定axis：

def my_average(x):
    return numpy.nanmean(x)

def my_std(x):
    return numpy.nanstd(x)

方案二：使用apply替代agg #

apply方法可明确指定按列操作（axis=0），确保自定义函数接收列维度的数据集：

print(df.apply([my_average, my_std], axis=0))

3. 整数型DataFrame下numpy.nanstd与自定义my_std结果差异的原因 #

Pandas对内置numpy.nanstd做了适配：在聚合时自动设置ddof=1（计算样本标准差），而自定义my_std直接调用numpy.nanstd(x, axis=0)使用的是numpy默认的ddof=0（计算总体标准差），两者自由度参数不同，因此结果出现差异。若要让自定义函数与内置结果一致，需手动指定ddof=1：

def my_std(x):
    return numpy.nanstd(x, axis=0, ddof=1)

内容的提问来源于stack exchange，提问作者user171780