合并DataFrame与聚合结果报错：如何解决并实现低成本聚合操作？

问题原因分析 #

你遇到的ValueError是因为concat_upcs_df是一个pandas Series，而merge方法要求两个操作对象都是DataFrame类型。当你用groupby().apply(lambda x: '|'.join(x.upc))时，返回的是带有多层索引（id1, id2）的Series，不是DataFrame，所以无法直接和firsts_df合并。

快速修复现有代码 #

只需要把生成的Series转换成DataFrame，并指定列名，就能正常合并了：

import pandas as pd

df = pd.DataFrame({ 
    'id1': [1, 1, 1, 2, 2, 3, 3, 3, 3, 4, 4, 5, 6, 6, 6, 7, 7], 
    'id2': [11, 22, 11, 11, 22, 33, 33, 33, 33, 44, 44, 55, 66, 66, 22, 77, 77], 
    'value1': ["1first", "1second", "1third", "2first", "2second", "3first", "3second", "3third", "3fourth", "4first", "4second", "5first", "6first", "6second", "6third", "7first", "7second"], 
    'upc': [str(x) for x in range(100, 117)] 
})

firsts_df = df.groupby(['id1', 'id2']).first()
# 将Series转为DataFrame并指定列名
concat_upcs_df = df[['id1', 'id2', 'upc']].groupby(['id1', 'id2']).apply(lambda x: '|'.join(x.upc)).to_frame(name='concat_upc')
# 利用索引直接合并，更简洁
result_df = firsts_df.merge(concat_upcs_df, how='inner', left_index=True, right_index=True)
print(result_df)

这里用to_frame(name='concat_upc')把Series转成带列名的DataFrame，并且因为两个对象的索引都是(id1, id2)，所以用left_index=True和right_index=True合并更直观，不用重复指定关联列。

更低成本的实现方式：一次完成聚合 #

你当前的代码做了两次groupby操作，这会额外消耗性能。更高效的方式是用agg方法，在一次分组中同时完成"取首行"和"拼接upc"的操作：

import pandas as pd

df = pd.DataFrame({ 
    'id1': [1, 1, 1, 2, 2, 3, 3, 3, 3, 4, 4, 5, 6, 6, 6, 7, 7], 
    'id2': [11, 22, 11, 11, 22, 33, 33, 33, 33, 44, 44, 55, 66, 66, 22, 77, 77], 
    'value1': ["1first", "1second", "1third", "2first", "2second", "3first", "3second", "3third", "3fourth", "4first", "4second", "5first", "6first", "6second", "6third", "7first", "7second"], 
    'upc': [str(x) for x in range(100, 117)] 
})

# 一次groupby完成所有聚合操作
result_df = df.groupby(['id1', 'id2']).agg(
    value1=('value1', 'first'),  # 取value1的首行
    concat_upc=('upc', lambda x: '|'.join(x))  # 拼接upc列
).reset_index()
print(result_df)

这种方式只需要一次分组遍历，避免了两次分组和后续的merge操作，在处理大数据集时性能提升会很明显。另外用reset_index()可以把分组索引转回普通列，让结果结构更符合常规需求。

内容的提问来源于stack exchange，提问作者Max Segal