Laravel中基于作业批处理实现定时任务，如何避免任务重叠？

你的问题核心在于：主调度任务只是触发批量任务的创建，本身执行时间极短，导致withoutOverlapping()的锁会快速释放，下一次5分钟调度时就会误以为没有任务在运行，从而重复启动流程。下面是几个针对性的解决办法：

1. 基于批量任务状态做判断 #

Laravel的批量任务（batched jobs）自带状态字段（pending/running/finished/failed），可以在调度任务启动前，检查是否存在未完成的同类型批量任务，有则直接退出。

代码示例：

$schedule->call(function () {
    // 检查是否有正在运行或待处理的FTP文件处理批量任务
    $hasActiveBatch = DB::table('job_batches')
        ->where('name', 'ftp-file-processing-batch') // 给你的批量任务设置统一名称
        ->whereIn('status', ['pending', 'running'])
        ->exists();

    if ($hasActiveBatch) {
        return; // 已有任务在跑，直接终止本次调度
    }

    // 这里写检测FTP新文件、创建批量任务的逻辑
    $ftpFiles = $this->getNewFtpFiles();
    foreach ($ftpFiles as $file) {
        Bus::batch([
            new StoreFileToDbJob($file),
            new SendToApiJob($file),
            // 其他分块处理任务
        ])->name('ftp-file-processing-batch')->dispatch();
    }
})->everyFiveMinutes();

2. 自定义缓存锁绑定批量任务生命周期 #

用缓存锁来控制调度触发，并且在批量任务完成后手动释放锁，避免锁提前失效或长期占用。

$schedule->call(function () {
    $lockKey = 'ftp-processing-lock';
    // 尝试获取锁，初始设置较长有效期（比如2小时，覆盖任务最长执行时间）
    $lock = Cache::lock($lockKey, 7200);
    if (!$lock->get()) {
        return;
    }

    $ftpFiles = $this->getNewFtpFiles();
    foreach ($ftpFiles as $file) {
        Bus::batch([
            new StoreFileToDbJob($file),
            new SendToApiJob($file),
        ])->name('ftp-file-processing-batch')
          ->finally(function () use ($lock) {
              // 批量任务无论成功失败，都释放锁
              $lock->release();
          })
          ->dispatch();
    }
})->everyFiveMinutes();

如果是单服务器部署，也可以用文件锁替代缓存锁，但分布式环境下必须用Redis这类分布式缓存。

3. 给FTP文件加处理状态标记 #

在检测新文件时，先给待处理文件打上标记，避免重复触发流程：

• 检测FTP文件时，只筛选未标记的文件（比如文件名不含processing后缀，或者存在单独的processing目录）
• 选中文件后，立即将其移动到FTP的processing目录，或在本地数据库记录该文件的状态为processing
• 调度任务启动前，检查是否存在processing状态的文件，有则直接退出
• 批量任务完成后，将文件移动到processed目录，或更新数据库状态为processed

避坑提醒 #

• 批量任务必须设置统一的name，否则无法准确查询活跃任务
• 多服务器部署时，必须用分布式缓存锁，本地缓存/文件锁会失效
• 不要直接用withoutOverlapping()->lockFor(xxx)强制锁时长，除非能接受任务提前完成后锁仍占用的情况

内容的提问来源于stack exchange，提问作者daxez