Pandas：标记重叠日期，满足条件时排除特定行

嘿，这个问题我在处理千万级业务数据的时候碰到过类似场景，百万级量既要保证逻辑精准又得扛住性能压力，给你分享下实际项目里验证过的方案：

核心思路：用窗口函数高效实现分组内行对比 #

绝对不能用循环或者逐行遍历的方式处理百万级数据，必须依赖数据库的窗口函数（Window Functions）——这是处理分组内行与行关系最高效的手段，能让数据库引擎用最优的执行计划完成计算。

1. 基础重叠标记逻辑 #

先按KEY分组，用LAG()窗口函数抓取同一组内前一行的Date1和Date2，再严格按照你的规则判断重叠：

SELECT 
    KEY,
    Date1,
    Date2,
    -- 按规则标记与前一行的重叠状态
    CASE 
        WHEN LAG(Date2) OVER (PARTITION BY KEY ORDER BY Date1) > Date1 
             AND LAG(Date1) OVER (PARTITION BY KEY ORDER BY Date1) <= Date1
        THEN 1  -- 1表示重叠
        ELSE 0  -- 0表示不重叠
    END AS is_overlapped_with_prev
FROM your_data_table;

这里的关键细节：

• PARTITION BY KEY：确保只在同一个KEY组内做行对比，不会跨组混淆
• ORDER BY Date1：必须按Date1排序，这样LAG()拿到的才是当前行的“前一行”（时间顺序上的上一条）
• 用CASE直接计算标记，避免后续二次处理数据，减少性能损耗

2. 加入特定行排除逻辑 #

根据排除条件的依赖关系，分两种场景处理：

场景一：排除条件独立于重叠标记

如果要排除的行不需要参考重叠结果（比如直接排除状态为“无效”的行），可以先过滤再做重叠标记，效率更高：

-- 先过滤掉要排除的行
WITH filtered_data AS (
    SELECT * 
    FROM your_data_table
    -- 替换成你的实际排除条件，比如排除无效记录
    WHERE record_status != '无效'
)
SELECT 
    KEY,
    Date1,
    Date2,
    CASE 
        WHEN LAG(Date2) OVER (PARTITION BY KEY ORDER BY Date1) > Date1 
             AND LAG(Date1) OVER (PARTITION BY KEY ORDER BY Date1) <= Date1
        THEN 1 
        ELSE 0 
    END AS is_overlapped_with_prev
FROM filtered_data;

场景二：排除条件依赖重叠标记结果

如果需要根据重叠结果来排除（比如“标记为重叠且优先级为低的行要排除”），可以先标记重叠，再过滤：

-- 先完成重叠标记
WITH overlap_marked_data AS (
    SELECT 
        KEY,
        Date1,
        Date2,
        CASE 
            WHEN LAG(Date2) OVER (PARTITION BY KEY ORDER BY Date1) > Date1 
                 AND LAG(Date1) OVER (PARTITION BY KEY ORDER BY Date1) <= Date1
            THEN 1 
            ELSE 0 
        END AS is_overlapped_with_prev,
        priority_field  -- 用于排除判断的字段
    FROM your_data_table
)
-- 过滤掉符合排除条件的行
SELECT *
FROM overlap_marked_data
WHERE NOT (is_overlapped_with_prev = 1 AND priority_field = '低');

百万级数据的性能优化要点 #

• 必须建联合索引：给KEY和Date1创建联合索引：CREATE INDEX idx_key_date1 ON your_data_table(KEY, Date1);，窗口函数的PARTITION BY + ORDER BY会直接用到这个索引，能把查询速度提升数倍
• 优先用CTE简化逻辑：避免重复计算窗口函数，让执行计划更清晰，也方便后续维护
• 处理日期NULL值：如果日期字段可能为空，要在CASE里加NULL判断，避免逻辑错误：

  CASE 
      WHEN LAG(Date2) OVER (...) IS NOT NULL
           AND LAG(Date1) OVER (...) IS NOT NULL
           AND LAG(Date2) OVER (...) > Date1 
           AND LAG(Date1) OVER (...) <= Date1
      THEN 1 
      ELSE 0 
  END
  

内容的提问来源于stack exchange，提问作者CandleWax