Pandas分组生成组内序号列及groupby返回同索引Series方法

首先来看你遇到的第一个问题：为什么groupby.apply返回数组会导致“一行多列”的情况？

当你执行df.groupby("id").apply(lambda x: np.arange(1, len(x)+1))时，apply会把每个分组的处理结果（这里是一个数组）作为单个值，对应到分组的键（也就是id=1和id=2），最终返回的是一个索引为分组键、值为数组的Series：

id
1    [1, 2, 3]
2       [1, 2]
dtype: object

当你把这个Series赋值给df["c"]时，Pandas会按照索引匹配，把id=1对应的数组赋值给所有id=1的行，id=2的数组赋值给所有id=2的行。所以最终df["c"]的每个单元格是一个数组，看起来像是“一行多列”，但本质是一列中每个元素是数组，而不是每行对应一个单独的序号。

然后是第二个方法返回Series时的索引异常问题：
当你返回pd.Series(np.arange(1, len(x)+1))时，Pandas会给每个分组内的Series默认生成0-based的索引（比如id=1的分组内索引是0、1、2），最终apply返回的是一个**多层索引（MultiIndex）**的Series：

id   
1   0    1
    1    2
    2    3
2   0    1
    1    2
dtype: int64

这个多层索引和原DataFrame的索引（仅包含id的重复索引）无法对齐，所以会抛出索引不兼容的异常。

针对生成组内序号的直接解决方案 #

其实Pandas已经内置了专门的方法来实现这个需求——groupby.cumcount()，它会为每个分组内的行生成从0开始的累计计数，加1后就是你需要的1到n的序号：

import pandas as pd
import numpy as np

df = pd.DataFrame(data = {"a": np.arange(5), "b": np.arange(5)[::-1], "id": [1,1,1,2,2]}).set_index("id")
df["c"] = df.groupby("id").cumcount() + 1

执行后你会得到预期的结果：

a  b  c
id
1  0  4  1
1  1  3  2
1  2  2  3
2  3  1  1
2  4  0  2

泛化问题：如何让groupby结果与原DataFrame索引对齐？ #

要实现groupby操作后返回与原DataFrame索引一致的Series，核心是让分组处理的结果能正确映射到原DataFrame的每一行，有以下几种常用方法：

1. 使用transform替代apply #

transform是专门设计用来将分组计算结果广播到原分组的每一行的方法，它会自动保证返回的Series与原DataFrame索引对齐。只要你的处理函数返回的结果长度和分组行数一致，就可以直接使用：

df["c"] = df.groupby("id").transform(lambda x: np.arange(1, len(x)+1))

2. 在apply中指定原分组的索引 #

如果你必须使用apply，可以在生成Series时指定索引为原分组的行索引（而非默认的0-based索引），然后去掉外层的分组键索引：

df["c"] = df.groupby("id").apply(
    lambda x: pd.Series(np.arange(1, len(x)+1), index=x.index)
).reset_index(level=0, drop=True)

这里index=x.index确保生成的Series使用原DataFrame的索引，reset_index(level=0, drop=True)则移除分组键的外层索引，最终得到的Series就和原DataFrame索引完全对齐了。

3. 用explode展开数组结果 #

如果你的apply返回的是数组（比如第一个方法的情况），可以用explode把数组拆分成单独的行，再赋值：

result = df.groupby("id").apply(lambda x: np.arange(1, len(x)+1))
df["c"] = result.explode().astype(int)

explode会将每个数组的元素拆成独立的行，且自动保留原分组键的重复索引，刚好和原DataFrame的索引匹配。

内容的提问来源于stack exchange，提问作者Alex