如何在Pandas中按组合并行？处理字段值冲突问题

1. 保留所有原始值（合并为列表/去重集合） #

如果不想丢失任何数据，可将同字段的多个值合并成列表或去重集合，适合后续需要回溯原始数据的场景。

示例代码：

import pandas as pd

# 模拟你的原始数据结构
df = pd.DataFrame({
    'Product': ['P1', 'P1', 'P2', 'P2'],
    'Country': ['USA', 'USA', 'CA', 'CA'],
    'Price1': [10, 12, 20, 20],
    'Price2': [15, 15, 25, 30],
    'Price3': [20, 22, 30, 30]
})

# 分组后将多值合并为列表
merged_list_df = df.groupby(['Product', 'Country'], as_index=False).agg(list)

# 若需去重，用集合转列表
merged_unique_df = df.groupby(['Product', 'Country'], as_index=False).agg(lambda x: list(set(x)))

2. 业务导向的统计聚合 #

如果业务需要对多值做计算，比如取均值、求和、最值等，这是最常用的落地方案，直接输出可使用的统计结果。

示例代码：

# 给不同Price列指定不同聚合函数
agg_custom_df = df.groupby(['Product', 'Country'], as_index=False).agg(
    Price1_avg=('Price1', 'mean'),
    Price2_max=('Price2', 'max'),
    Price3_min=('Price3', 'min')
)

# 所有Price列用相同聚合函数的简化写法
agg_same_df = df.groupby(['Product', 'Country'], as_index=False)[['Price1', 'Price2', 'Price3']].mean()

3. 标记冲突后人工审核 #

如果不确定多值的处理逻辑，先标记存在冲突的行，方便后续人工核对确认。

示例代码：

# 给每行标记是否存在任意Price列的多值冲突
df['has_conflict'] = df.groupby(['Product', 'Country'])[['Price1', 'Price2', 'Price3']].transform(
    lambda x: x.nunique() > 1).any(axis=1)

# 给每个Price列单独标记冲突状态
for col in ['Price1', 'Price2', 'Price3']:
    df[f'{col}_conflict'] = df.groupby(['Product', 'Country'])[col].transform(lambda x: x.nunique() > 1)

4. 保留最新/最早记录（基于顺序） #

如果数据有时间字段或行顺序代表数据先后，可保留最新或最早的记录；无时间字段时，按原始行索引判断。

示例代码：

# 保留每组最后一行（原始顺序的最新记录）
latest_df = df.groupby(['Product', 'Country'], as_index=False).last()

# 保留每组第一行（原始顺序的最早记录）
earliest_df = df.groupby(['Product', 'Country'], as_index=False).first()

方案选择建议 #

1. 优先对齐业务需求：需要全量数据选列表合并，需要统计指标选聚合函数，需要人工确认选冲突标记，有时间顺序选最新/最早记录。
2. 避免无意义覆盖：不要随意用first()/last()，除非你明确行顺序的业务意义，否则易丢失关键数据。
3. 验证结果：处理后可通过merged_list_df[merged_list_df['Price1'].apply(len) > 1]筛选出有多个值的行，检查是否符合预期。

内容的提问来源于stack exchange，提问作者kami