如何快速筛选SEL=1的相邻行？批量数据高效处理问询

针对大数据量的表格处理，核心思路是避免逐行循环，用向量化操作或数据库优化后的窗口函数批量处理，以下是两种常用场景的高效方案：

用Python Pandas处理内存内数据集 #

Pandas的向量化操作基于底层C实现，速度远快于Python循环，适合百万级行数的数据集：

1. 初始化SEL列并标记目标行：

   import pandas as pd
   
   # 假设df是你的数据集
   df['SEL'] = 0
   # 标记NUM>5.0的行
   df.loc[df['NUM'] > 5.0, 'SEL'] = 1
   

2. 批量标记相邻行：
   利用shift()生成上下行的掩码，一次性筛选出所有目标行的相邻行：

   # 生成掩码：当前行是SEL=1，或上一行/下一行是SEL=1
   neighbor_mask = (df['SEL'] == 1) | (df['SEL'].shift(1) == 1) | (df['SEL'].shift(-1) == 1)
   # 将未标记的相邻行设为SEL=2
   df.loc[neighbor_mask & (df['SEL'] == 0), 'SEL'] = 2
   

用SQL处理数据库内大数据集 #

如果数据存储在数据库（如MySQL、PostgreSQL），用窗口函数LAG()/LEAD()可高效定位相邻行，避免低效的自连接：

1. 直接生成SEL标记（推荐，一次查询完成）：

   SELECT 
       *,
       CASE
           WHEN NUM > 5.0 THEN 1
           WHEN LAG(NUM) OVER(ORDER BY row_id) > 5.0 OR LEAD(NUM) OVER(ORDER BY row_id) > 5.0 THEN 2
           ELSE 0
       END AS SEL
   FROM your_table;
   

   注：row_id是表中用于确定行顺序的主键或排序字段。
2. 分两步更新（如需修改原表）：

   -- 第一步标记SEL=1
   UPDATE your_table SET SEL = 1 WHERE NUM > 5.0;
   
   -- 第二步标记相邻行
   UPDATE your_table t1
   SET SEL = 2
   WHERE SEL = 0
     AND EXISTS (
         SELECT 1 FROM your_table t2
         WHERE (t2.row_id = t1.row_id + 1 OR t2.row_id = t1.row_id - 1)
           AND t2.SEL = 1
     );
   

以上方案均为批量操作，无需逐行遍历，可轻松应对千万级行数的数据集。

内容的提问来源于stack exchange，提问作者changjx