如何在Pandas Groupby聚合时：组内全为NaN返回NaN，否则求和

你的问题核心是要实现组内全为NaN时返回NaN，否则忽略NaN求和，原代码的问题出在NaN的判断逻辑和lambda语法上，下面是修正后的解决方案：

问题分析 #

1. NaN判断错误：不能用all(ele!=np.nan for ele in x)判断全NaN，因为np.nan != np.nan始终为False，这个条件永远不成立。正确的方式是用Series的isna().all()方法直接判断组内所有元素是否为NaN。
2. lambda语法不完整：原lambda缺少else分支，导致语法报错。
3. 求和逻辑偏差：如果组内不是全NaN，需要用默认的sum(skipna=True)（会忽略组内的NaN），而不是skipna=False（否则只要有一个NaN就返回NaN，不符合你的需求）。

修正代码 #

方案1：自定义聚合函数（可读性更高） #

import pandas as pd
import numpy as np

data = {
    "name": ['dick','john', 'john', 'john'],
    "age": [np.nan, 20, 20, np.nan]
}

df = pd.DataFrame(data)

def custom_sum(x):
    # 判断组内是否全为NaN
    if x.isna().all():
        return np.nan
    # 否则忽略NaN求和
    return x.sum()

# 定义聚合字典，可添加其他统计量（比如均值、计数等）
var_dict = {
    'age': custom_sum,
    # 示例：添加年龄的非NaN计数
    'age_count': lambda x: x.count()
}

df_gpby = df.groupby(['name'], dropna=False).agg(var_dict).reset_index()
print(df_gpby)

运行输出：

name   age  age_count
0   dick   NaN          0
1   john  40.0          2

方案2：简化lambda写法（一行实现） #

如果只需要求和逻辑，也可以直接用修正后的lambda：

import pandas as pd
import numpy as np

data = {
    "name": ['dick','john', 'john', 'john'],
    "age": [np.nan, 20, 20, np.nan]
}

df = pd.DataFrame(data)

var_dict = {}
var_dict['age'] = lambda x: np.nan if x.isna().all() else x.sum()

df_gpby = df.groupby(['name'], dropna=False).agg(var_dict).reset_index()
print(df_gpby)

运行输出：

name   age
0   dick   NaN
1   john  40.0

关键知识点 #

• 处理NaN必须用isna()/isnull()方法，不能直接用==或!=比较。
• groupby的dropna=False参数会保留组名为NaN的分组（如果有的话），符合你的需求。
• sum()默认skipna=True，会自动忽略组内的非全部NaN，只计算有效数值的和。

内容的提问来源于stack exchange，提问作者stranger12309