如何避免多Worker同时执行同一后台Job？现有方案失效求解决

这是分布式任务调度里非常典型的「任务竞态」问题，咱们结合你现有的尝试，拆解几个落地性强的解决方案：

一、先修复现有方案的核心问题：非原子操作 #

你之前用数据库标记和memcached的思路没问题，但致命缺陷是「查询任务」和「标记执行中」是两个分离的操作，中间有时间窗口，多个Worker会同时抢到同一任务。解决的关键是把这两步变成原子操作：

1. 数据库原子锁（无额外依赖，快速落地） #

如果你的MySQL版本是8.0+，直接用SELECT ... FOR UPDATE SKIP LOCKED语法，它能原子性地获取并锁定待执行任务：

-- 原子获取1条待执行任务，同时锁定该行，其他Worker会跳过已锁定的行
SELECT id FROM daemon_jobs WHERE status = 'pending' LIMIT 1 FOR UPDATE SKIP LOCKED;

拿到任务ID后，再更新状态为executing即可——因为锁的存在，不会有其他Worker同时拿到这个任务。

如果是低版本MySQL，用GET_LOCK函数实现行级锁：

-- 尝试获取对应任务的锁，超时1秒（返回1表示成功拿到锁）
SELECT GET_LOCK(CONCAT('job_lock_', id), 1) FROM daemon_jobs WHERE status = 'pending' LIMIT 1;

拿到锁后再更新任务状态，这样也能避免竞态。这个方案天然支持多服务器，只要所有Worker连同一个数据库就行。

2. Memcached/Redis原子锁（修正你的现有逻辑） #

你之前的memcached逻辑是「先查是否存在锁，再设置锁」，这也是非原子的。改成用memcached的add命令（只有当key不存在时才设置成功）：

// 替换原有的get+set逻辑，直接用add原子操作
$lockKey = "job_executing_" . $op['id'];
// add命令返回true表示成功拿到锁，false表示已被其他Worker锁定
if (!$memcached->add($lockKey, 1, 30)) { // 30秒过期，需大于任务最长执行时间
    echo "\tOperation id already executing...\n";
    continue;
}
// 拿到锁后再更新数据库状态，然后执行任务

如果是多服务器场景，只要把memcached换成共享的Redis集群，用SET key value NX PX命令（同样是原子操作），就能跨服务器实现锁机制。

二、直接用成熟的分布式任务队列框架（长期推荐） #

你提到的Gearman完全支持多服务器场景，它本身就是为分布式任务调度设计的，内置了任务分发、Worker负载均衡、避免重复执行的机制，不用自己处理锁的细节。除此之外，还有几个更流行的选择：

• RabbitMQ：用消息队列模式，把任务作为消息发送到队列，Worker消费时RabbitMQ会保证同一条消息只会被一个Worker处理（开启手动ACK，任务执行完成后再确认消息），天然避免重复。
• Redis Queue（RQ）：轻量级Redis任务队列，PHP也有对应的实现，支持分布式Worker，配置简单。
• Laravel Horizon：如果是Laravel项目，Horizon封装了Redis队列，自带监控、故障转移和负载均衡功能，开箱即用。

这些框架的优势是已经帮你处理了任务重试、Worker故障转移、任务超时等各种边缘场景，比自己造轮子靠谱得多。

三、关于你提到的「预先指定守护进程+故障转移」方案 #

这个思路是可行的，但实现成本很高：你需要维护守护进程的健康状态（比如用Consul/ZooKeeper做服务发现），还要处理任务的分片和离线Worker的任务接管逻辑。除非你的业务有特殊的定制化需求，否则不建议自己实现——现成的任务队列框架已经把这些功能做得很完善了。

内容的提问来源于stack exchange，提问作者Maurício Giordano