为何df.apply(myfunc, axis=1)报错,而df.groupby(df.index).apply(myfunc)正常?
问题:DataFrame.apply与groupby.apply处理行扩展的差异原因
我有如下结构的DataFrame:
a b c 0 x x x 1 y y y 2 z z z
希望为每一行应用一个函数,根据输入行生成包含多行的新DataFrame并返回。函数定义如下:
def my_func(df): dup_num = int(df.c - df.a) if isinstance(df, pd.Series): df_expanded = pd.concat([pd.DataFrame(df).transpose()]*dup_num, ignore_index=True) else: df_expanded = pd.concat([pd.DataFrame(df)]*dup_num, ignore_index=True) return df_expanded
最终期望得到的DataFrame结构:
a b c 0 x x x 1 x x x 2 y y y 3 y y y 4 y y y 5 z z z 6 z z z
执行以下代码时:
df_expanded = df.apply(my_func, axis=1)
函数处理每一行生成的DataFrame是正确的,但最终抛出错误:
ValueError: cannot copy sequence with size XX to array axis with dimension YY
看起来apply试图返回Series而非函数生成的多行DataFrame。
改用以下代码却能正常运行:
df_expanded = df.groupby(df.index).apply(my_func)
请问这是为什么?
原因解析
1. df.apply(axis=1)的行为限制
apply(axis=1)的设计逻辑是“每一行输入对应一个输出单元”,默认期望函数返回单个标量,或与原行长度一致的Series。它会尝试把所有行的输出单元拼接成新的Series/DataFrame,但你的函数返回的是多行DataFrame,完全不符合它的预期结构——无法把多行结构映射到原DataFrame的“一行”位置上,因此抛出维度不匹配的错误。
2. groupby(df.index).apply()的处理逻辑
用索引分组后,每个分组对应原DataFrame的单独一行(每个索引值唯一对应一行)。此时groupby.apply的规则是:如果函数返回DataFrame或Series,pandas会直接将所有分组的返回结果按行拼接成一个完整的大DataFrame。它不限制每个分组的返回结果必须是单个值或单行,完美适配“一行输入生成多行输出”的场景。
内容的提问来源于stack exchange,提问作者Maz
相关产品推荐
相关产品推荐

