Pandas groupby调用apply方法返回结果结构差异原因解析

现象本质 #

groupby.apply() 没有固定的返回结构，最终输出形态完全由传入函数对单个分组子集的返回值类型决定，两种场景的逻辑差异如下：

• 场景1：lambda 仅调用 x.str.contains('Documentaries')
  每个分组传入的x是对应国家的listed_in列Series，str.contains()是逐元素匹配操作，返回的布尔Series长度和当前分组的作品条数完全相等（印度组返回长度等于印度作品总数的布尔序列，西班牙组同理）。
  当所有分组的返回值都是和自身分组等长的序列时，pandas会自动按原始数据的行索引把所有分组的结果拼接成一个和筛选后原数据等长的普通Series，不会保留分组维度，因此最终得到的是索引为原数据行号的布尔型Series。
• 场景2：lambda 内追加 .sum() 聚合
  x.str.contains('Documentaries').sum() 会对每个分组的布尔序列做求和（布尔值True计为1、False计为0，求和结果即为该分组下题材包含纪录片的作品总条数，是单个数字标量）。
  当所有分组的返回值都是单个标量时，pandas会自动以分组键（即country字段值）为索引，对应聚合值为序列值，组装成按组区分的统计结果Series，因此你会看到印度对应19、西班牙对应17的分组统计值。

补充逻辑说明 #

当你在apply方法外部调用.sum()得到总数量36时，本质是先拿到了场景1里和原数据等长的全量布尔Series，再对整个序列的布尔值做全局求和，结果就是两国纪录片数量19+17=36，符合计算逻辑。

实操参考规则 #

后续做分组操作可以直接按这个规律预判结果、选择写法：

• 如果需要保留每条数据的明细处理结果：在分组apply的自定义函数中返回和当前分组等长的序列，最终结果会按原行索引拼接为和原数据等长的序列
• 如果需要分组聚合统计（每组返回一个统计值）：在分组apply的自定义函数中返回单个标量聚合结果，最终结果会以分组字段为索引返回分组统计值
• 如果需要既保留分组标记又拿到逐元素判断结果，可以在分组时指定group_keys=True参数，或者先把逐元素判断结果存为原DataFrame的新列再做后续分组操作，写法更稳妥，不容易出现结果结构不符合预期的问题。

内容的提问来源于stack exchange，提问作者Aniruddh