Laravel使用Chunk+Queue Jobs+DB::insert时任务创建到4000左右丢失问题

1. 同事务下队列记录随业务写入失败回滚 #

如果你使用database作为队列驱动，且调度ExecuteChunkJobs任务的逻辑和DB::insert写promos表的逻辑在同一个数据库事务中，一旦promos表写入出现异常（唯一键冲突、锁等待超时、死锁、数据校验失败），整个事务会回滚，同事务中写入jobs表的队列任务记录也会被同步清除，直接导致任务丢失。你移除DB::insert后没有写入异常触发事务回滚，所有任务都能正常提交保留。

2. 数据库连接资源耗尽导致任务写入静默失败 #

短时间内需要同时处理两个高频率写入操作：一是写入5000条队列任务到jobs表，二是每个分片任务写200条数据到promos表，很容易占满数据库连接池，或者触发配置的wait_timeout超时，导致后续队列任务的写入操作拿不到连接，静默执行失败不会抛出异常，最终调度的任务数量不足。

3. offset分片逻辑受数据变动干扰出现遗漏 #

你使用的chunk方法是基于offset分页实现分片的，分片遍历过程中如果products表有新增、删除操作，或者你的业务逻辑修改了products表的查询条件字段，会导致分页偏移计算错误，直接跳过部分分片，少调度对应的ExecuteChunkJobs任务。移除DB::insert后分片执行速度大幅提升，数据变动的时间窗口被压缩，就不容易触发该问题。

4. 高并发写入触发表锁/行锁冲突 #

jobs表的任务写入和promos表的业务写入同时争抢数据库IO、锁资源，很容易出现写入死锁，部分队列任务的插入操作会被数据库直接终止，导致任务丢失。

• 将队列调度逻辑和业务写入逻辑拆分到独立的数据库事务中，调度任务的事务优先提交，避免业务写入异常连带删除队列记录
• 将分片方法从chunk替换为chunkById，基于主键ID做分段遍历，不受分片过程中的数据变动影响，不会出现分片遗漏
• 调度ExecuteChunkJobs任务时使用批量插入，减少对jobs表的写入次数，降低锁冲突概率
• 每个分片内的200条数据合并为单次DB::insert批量写入promos表，减少数据库连接占用和写入耗时

内容的提问来源于stack exchange，提问作者Mr. Mike