无行锁的安全分页咨询：SQL Server与EF批量数据处理问题

方案1：预生成处理快照（推荐） #

• 先在数据库里创建临时表或专用处理队列表，把当前时刻符合条件的主键集合一次性写入，比如：

  SELECT Id INTO #ProcessQueue FROM YourTable WHERE [你的过滤条件];
  

  用EF的话，要么直接执行这段SQL，要么把查询到的主键存入内存（主键数量不极端大时），或者写入数据库临时表。
• 之后基于这个固定的主键集合分批处理：每次从队列取N个主键，查询对应数据处理，处理完标记为已处理（或直接从队列删除）。
• 优势：彻底规避后续数据变更对处理范围的影响，初始处理数量可直接从队列计数得到，能准确告知用户。
• 注意：如果数据量极大（百万级以上），内存存主键不够的话，就用数据库临时表——会话结束后会自动清理，不会长期占用空间。

方案2：优化主键分页的数量估算 #

• 要是不想用快照表，继续用主键分页（WHERE Id > @LastId ORDER BY Id LIMIT @BatchSize），可以先做一次近似计数：

  SELECT COUNT_BIG(*) FROM YourTable WHERE [你的过滤条件];
  

  这个计数可能和实际处理数量有偏差（中间可能有数据变更），但可以先告知用户“预计处理X条，实际数量以处理完成后为准”，同时在处理过程中实时更新已处理数量，让用户看到进度。
• 另外，处理前可以先获取符合条件的主键范围（最小和最大Id），分页时加上Id BETWEEN @MinId AND @MaxId，至少不会处理到新增的超出初始范围的数据，减少偏差。

方案3：使用快照隔离级别 #

• SQL Server支持快照隔离（Snapshot Isolation），开启后事务会读取事务开始时的数据库快照，既不会阻塞其他写操作，也不会被其他写操作干扰。
• 开启步骤：先在数据库层面开启快照隔离：

  ALTER DATABASE YourDatabase SET ALLOW_SNAPSHOT_ISOLATION ON;
  

  然后在EF事务中设置隔离级别为快照：

  using (var transaction = context.Database.BeginTransaction(System.Data.IsolationLevel.Snapshot))
  {
      // 在此执行分批查询和处理，所有查询都基于事务启动时的快照
      transaction.Commit();
  }
  

• 优势：既保证读取一致性（不会出现offset分页的遗漏问题），又不会像repeatable read那样锁表阻塞写操作。
• 注意：需要数据库开启快照隔离，会占用一定tempdb空间存储快照，适合处理时间不是极端漫长的场景。

补充要点 #

• 不管用哪种方案，处理逻辑都要保证幂等性：每条数据即使重复处理也不会出错（比如处理前先检查是否已处理过），避免极端情况的重复获取问题。
• EF分批查询时，尽量避开Skip/Take（对应offset），用主键范围查询性能更好，尤其是数据量大的时候。

内容的提问来源于stack exchange，提问作者EmeraldP