每10秒运行的任务调度器执行MySQL SELECT查询时如何避免获取已拉取的数据
调度器避免重复抓取MySQL历史数据的SELECT优化方案
基于增量游标的位点追踪
- 核心逻辑:给目标表选全局单调递增、无重复的排序字段,优先选自增主键id,别单独拿创建时间当游标,同毫秒可能写入多条数据,很容易出现重复抓、漏抓的问题。在调度器侧持久化存储上次抓取到的最大游标值(存在本地磁盘、独立的位点配置表均可,别存在内存里,不然调度重启就丢记录了)。
- 每次触发时,直接基于存储好的游标值做范围查询,只拉取比当前游标值大的新数据,不需要扫描全表。
- 示例SQL:
-- last_synced_id 是上次处理完成后存储的最大自增id SELECT id, col1, col2 FROM target_table WHERE id > #{last_synced_id} ORDER BY id ASC LIMIT 200; -- 单批次抓取量别设太大,避免长事务占用数据库资源 - 关键注意点:一定要等本次抓取的数据全部处理完成后,再把存储的游标值更新为本次抓到的最大id,别查完就改游标,不然中途处理失败、系统宕机,就会直接漏掉数据。
基于数据状态标记的筛选
- 核心逻辑:给目标表加一个tinyint类型的同步状态字段
sync_flag,默认值0代表还没被调度抓取,1代表已经抓取处理完成。每次查询只筛选状态为0的数据,抓取完成后立刻把这批数据的状态改成1。 - 实际执行要搭配事务和行锁,避免多个调度实例并发抢占同一批数据,导致重复抓取:
- 开启事务,加行锁查询未处理数据:
SELECT id, col1, col2 FROM target_table WHERE sync_flag = 0 ORDER BY create_time ASC LIMIT 200 FOR UPDATE; - 拿到查询结果后,立刻更新这批数据的状态:
UPDATE target_table SET sync_flag = 1 WHERE id IN (#{本次抓到的所有id}); - 提交事务之后,再异步处理业务数据,别把业务处理逻辑包在数据库事务里,不然会拉长事务占锁时间,影响主业务读写。
- 开启事务,加行锁查询未处理数据:
- 可扩展优化:把状态值细化为0-未抓取、1-处理中、2-处理成功、3-处理失败,后续可以单独捞取处理失败的数据重试,不需要全表扫描。
基于时间水位线的窗口截断
- 核心逻辑:利用调度器每10秒固定触发的规则,设置一个固定的时间水位线,每次只拉取早于水位线的稳定历史数据,跳过当前时间窗口内还在写入的实时数据,既不会和写入请求抢锁,也不会和上一次抓取的时间窗口重叠。
- 示例SQL:
-- 水位线设为当前时间往前推15秒,跳过最近15秒的写入数据,抵消数据库主从延迟、写入缓冲的影响 SELECT id, col1, col2 FROM target_table WHERE create_time > #{last_synced_time_watermark} AND create_time < DATE_SUB(NOW(), INTERVAL 15 SECOND) ORDER BY create_time ASC; - 注意点:水位线往前推的间隔一定要大于调度触发间隔,不然容易因为写入延迟漏查新数据。
一定要规避的错误写法
- 别不带排序字段直接用
LIMIT查数据:没有固定排序的查询每次返回顺序是随机的,根本没法判断哪些数据已经被抓取过 - 别用
OFFSET分页模拟增量查询:OFFSET越大,数据库要扫描的无效行越多,性能随数据量上涨持续劣化,还容易在并发写入时出现漏查、重复查的问题 - 别靠硬删除历史数据做去重:删除数据会产生大量随机写IO,还会破坏目标表本身的业务数据完整性,维护成本极高
- 别在查询阶段就更新游标/状态:如果查完之后系统崩溃、处理失败,已经越过的游标会导致永久的数据丢失
内容的提问来源于stack exchange,提问作者Shree Rai
相关产品推荐
相关产品推荐

