无锁多插入长线程场景下兼顾数据可回滚与低锁阻塞的实现方案咨询
无锁长流程批量插入的最优实现方案
核心设计思路
这个方案完全规避长事务全表加锁的问题,同时满足异常场景下残留数据的精准清理,全程不阻塞其他用户对表的独立读写操作。方案将长流程的锁持有时间从15分钟级压缩到毫秒级,同时将无事务裸插的脏数据残留风险降到接近0。
具体实现步骤
- 为目标业务表新增两个流程控制专用字段,不改动原有业务字段:
- 新增
batch_id字段,存储当前执行流程生成的全局唯一标识(可用雪花ID、UUID生成),为该字段创建普通二级索引 - 新增
batch_status枚举字段,存储批次状态,取值为PROCESSING(处理中)、COMPLETED(已完成)
- 新增
- 全流程取消包裹15分钟的长事务,所有插入操作拆分为独立短事务执行:
- 流程启动时首先生成专属的
batch_id,后续所有向表中插入的约40000行数据,全部带上当前batch_id、初始状态为PROCESSING - 每1000-2000行数据作为一个插入批次,用独立短事务提交,单批次事务持锁时间仅为毫秒级,插入完成后立刻释放行锁,不会阻塞其他用户对表的插入、更新、读取操作
- 流程启动时首先生成专属的
- 建立双维度的残留数据清理机制:
- 流程正常执行到任意环节失败时(计算中断、插入报错、进程主动退出),直接执行带索引条件的精准删除:
DELETE FROM 目标表 WHERE batch_id = '当前流程的唯一标识',依托二级索引的定位能力,几万行数据的删除仅需秒级完成,不会触发全表扫描造成长时阻塞 - 增加定时兜底巡检任务,每小时扫描表中所有
batch_status = 'PROCESSING'、且创建时间超过15分钟阈值的批次数据,直接批量清理——因为正常流程最长运行15分钟,超时未完成的批次必然是异常中断的残留数据,无需等待流程自身的清理逻辑
- 流程正常执行到任意环节失败时(计算中断、插入报错、进程主动退出),直接执行带索引条件的精准删除:
- 调整业务读取逻辑的可见性规则:
- 所有正常业务的查询,仅增加
batch_status = 'COMPLETED'的过滤条件即可 - 当全部40000行数据插入完成、逻辑校验通过后,仅需执行一个单语句短事务,将当前
batch_id对应的所有行状态从PROCESSING更新为COMPLETED,这部分数据就会对所有业务可见 - 这意味着哪怕流程中途崩溃残留了部分
PROCESSING状态的数据,这部分数据对正常业务完全不可见,不会造成脏数据干扰
- 所有正常业务的查询,仅增加
落地注意事项
- 拆分插入批次时不要将批次拆得过小(比如每10行提交一次),避免短事务过多造成的性能损耗,按1000-2000行每批的规模平衡插入效率和锁持有时长即可
- 仅为
batch_id创建普通二级索引即可,不要创建唯一索引,避免唯一键检查带来的额外行锁开销 - 定时兜底清理任务尽量安排在业务低峰执行,进一步降低删除操作对正常业务的影响
- 可定期将历史已久的
COMPLETED状态数据的两个流程控制字段值清空,避免字段长期存储占用过多存储空间
内容的提问来源于stack exchange,提问作者SeyoS
相关产品推荐
相关产品推荐

