基于User列合并Pandas DataFrame，保留其他列多行数据

假设你用的是Python pandas库，下面是直接可用的实现方法，核心思路是按User分组后，针对不同类型的列定制聚合逻辑，保留所有有效信息：

1. 模拟原始数据（可替换为你的实际数据） #

import pandas as pd

# 模拟未合并的DataFrame
unconsolidated = pd.DataFrame({
    'User': ['Alice', 'Alice', 'Bob', 'Bob', 'Charlie'],
    'Date': ['2024-01-01', '2024-01-05', '2024-01-02', '2024-01-06', '2024-01-03'],
    'Email': ['alice@example.com', None, 'bob@example.com', None, None],
    'Phone': [None, '123-456-7890', None, '987-654-3210', '555-123-4567'],
    'Role': ['Editor', None, 'Viewer', 'Admin', 'Owner']
})

2. 自定义聚合函数，适配不同列的处理需求 #

这个函数会自动识别列类型，针对性处理：

• 日期列：保留最新日期
• 字符串列：合并非空且去重的内容
• 数值列：优先保留唯一值，有冲突则合并展示（可按需调整）

def consolidate_column(series):
    # 处理日期类型列，取最新日期
    if pd.api.types.is_datetime64_any_dtype(series):
        return series.max()
    # 处理字符串/对象类型列，合并非空去重值
    elif pd.api.types.is_object_dtype(series):
        non_null_vals = series.dropna().unique()
        return ', '.join(non_null_vals) if len(non_null_vals) > 0 else None
    # 处理数值类型列，优先取唯一值，冲突则合并
    else:
        unique_vals = series.dropna().unique()
        if len(unique_vals) == 1:
            return unique_vals[0]
        return ', '.join(map(str, unique_vals))

3. 执行分组合并 #

# 按User分组，应用聚合函数，保留User作为普通列
df_consolidated = unconsolidated.groupby('User', as_index=False).agg(consolidate_column)

运行后得到的df_consolidated会将同一User的多行有效信息整合到一行，比如Alice的行将包含她的邮箱、电话，日期取最新值。

• 先做数据预处理：提前把空字符串、无效值统一转为None，避免聚合时出现垃圾内容；同时删除完全重复的行，减少计算量
• 按列类型定制逻辑：不要用统一逻辑处理所有列——日期列取最新/最早，用户属性列（如邮箱、电话）合并非空值，业务数值列按需选择求和/取均值/保留唯一值
• 明确冲突处理规则：如果同一用户的同一列出现矛盾值（比如同时标记为Editor和Admin），一定要先和业务方确认处理规则，是保留所有值、取优先级高的，还是报错提醒
• 验证合并结果：合并后随机抽查几个用户的行，对比原始数据确认没有遗漏或错误整合的信息
• 保留分组键为普通列：用as_index=False让User保持为数据列而非索引，方便后续的筛选、关联等操作

内容的提问来源于stack exchange，提问作者Andrew