pandas groupby聚合用np.unique时如何返回首个非空唯一值
问题分析
原代码使用np.unique聚合时,会返回对应分组内所有唯一值组成的数组(示例中item为a的分组会返回['b','d']的数组),无法满足获取单个首个非空唯一值的需求,后续对该列做标量运算时也容易触发异常。
解决方案
根据实际需求分两种场景修改:
场景1:按原始行顺序直接取分组内首个非空值(无需提前去重)
如果不需要提前去重,直接取分组里最先出现的非空值,可直接使用pandas内置的first聚合方法,该方法会自动跳过空值:
df.groupby("item").agg(model_list=("item1", "first"))
运行后输出:
model_list item a b b c
场景2:先对分组内非空值按出现顺序去重,再取首个唯一值
如果需要先过滤重复值,再取第一个出现的非空唯一值,可自定义聚合函数实现。注意pandas原生Series.unique()按元素首次出现的顺序返回结果,不会像np.unique那样自动排序:
def first_nonnull_unique(s: pd.Series): # 过滤空值 non_null_vals = s.dropna() # 全为空时返回nan,否则返回去重后的第一个值 return non_null_vals.unique()[0] if not non_null_vals.empty else np.nan df.groupby("item").agg(model_list=("item1", first_nonnull_unique))
注意和原np.unique的区别:np.unique默认对结果按字典序排序,如果分组内值顺序为['d','b'],用np.unique取首个值会得到排序后的b,而按出现顺序取首个唯一值会得到d,可根据实际业务规则选择。
如果确定分组内不会存在全空的情况,也可以用更简洁的lambda写法:
df.groupby("item").agg(model_list=("item1", lambda s: s.dropna().unique()[0]))
内容的提问来源于stack exchange,提问作者william007
相关产品推荐
相关产品推荐

