大规模数据去重：零售数据集25万发票重复值处理咨询

首先要明确：发票属于业务标识类字段，本身不适合直接用mean/median/mode处理——这些统计方法针对的是数值型或类别型的度量字段，而发票号是用来唯一标识订单的，核心是先区分「真重复」和「伪重复」，再针对性处理：

第一步：先排查重复的本质原因 #

先通过抽样分析搞清楚25万条重复的来源，常见场景包括：

• 伪重复（最常见）：零售数据中，一条发票对应多件商品，所以发票号会随商品明细重复出现，这是正常的业务数据结构，不需要去重
• 真重复：完全相同的发票全量记录（发票号、交易时间、金额、商品等所有字段一致），通常是数据录入错误、系统重试、批量导入重复导致的
• 半重复：同一发票号下部分字段有差异（比如金额、商品数量存在不一致的多条记录）

第二步：针对不同场景的处理方案 #

1. 伪重复：无需处理 #

如果是发票对应多商品的明细展开，这种重复是业务必需的，保留即可。可以通过分组统计验证：按发票号分组，查看每组的商品数量，若大部分组的商品数≥2，基本就是这种情况。

2. 真重复：直接去重 #

用工具直接保留唯一记录即可，以Python Pandas为例：

# 保留每个发票号的第一条记录
df = df.drop_duplicates(subset=['发票号'], keep='first')
# 或者保留最新交易时间的记录
df = df.sort_values('交易时间').drop_duplicates(subset=['发票号'], keep='last')

其他工具（如SQL）可使用DISTINCT或窗口函数实现：

-- SQL中保留每个发票号的最新记录
SELECT *
FROM (
    SELECT *, ROW_NUMBER() OVER(PARTITION BY 发票号 ORDER BY 交易时间 DESC) AS rn
    FROM 零售数据表
) t
WHERE rn = 1

3. 半重复：合并差异字段后去重 #

如果同一发票号下有字段差异（比如金额不同），才需要用到统计方法处理度量字段，再保留唯一发票记录：

• 数值字段（如金额、数量）：用mean（无极端值时）或median（有异常值时）统一计算，比如按发票号分组后聚合：

  df_agg = df.groupby('发票号').agg(
      交易金额=('交易金额', 'median'),
      商品数量=('商品数量', 'sum'),
      交易时间=('交易时间', 'max')
  ).reset_index()
  

• 类别字段（如支付方式）：用mode取出现次数最多的取值，补充到唯一记录中

第三步：验证处理结果 #

• 处理后统计发票字段的重复数，确认达到预期
• 随机抽取10-20条原重复记录，核对处理后的结果是否符合业务逻辑（比如合并后的金额是否合理）

内容的提问来源于stack exchange，提问作者sridhar ramesh