NodeJS服务器Cron Job因负载均衡重复执行的解决方法

这个问题我在AWS+Convox环境里碰到过好几次，多实例下的Cron重复执行确实是个头疼的问题，尤其是实例还会自动伸缩或者重建的情况。给你几个经过验证的解决方案，按推荐程度排序：

方案一：单独部署单实例Worker服务（最直接可靠） #

既然Web实例是多节点负载均衡的，那干脆把Cron Job从Web服务里拆出来，单独部署一个单实例的Worker进程。Convox支持定义多个服务进程，你只需要在convox.yml里新增一个worker服务，指定它的副本数为1，专门用来跑定时任务。

举个配置例子：

services:
  web:
    build: .
    ports:
      - 80:3000
    scale: 4  # 你的Web服务保持4实例
  cron-worker:
    build: .
    command: node ./path/to/cron-job.js  # 直接启动Cron任务脚本
    scale: 1  # 强制单实例运行

这样不管Web实例怎么伸缩、重建，worker服务始终只有一个实例在运行，Cron Job自然只会执行一次。而且如果这个worker实例意外挂了，Convox会自动重建一个新的单实例，不会影响任务调度的唯一性。

方案二：分布式锁（适合无法拆分服务的场景） #

如果你的Cron任务必须和Web服务共享资源，没法单独拆出来，那可以用分布式锁来保证同一时间只有一个实例能执行任务。AWS环境里推荐用两种锁实现：

1. Redis分布式锁 #

利用Redis的SETNX（Set if Not Exists）命令实现锁机制：

• 任务触发时，先尝试设置一个带过期时间的锁键（比如cron:task-name:lock），过期时间要比任务执行时间长一点，防止实例挂了锁没释放。
• 如果设置成功（拿到锁），就执行任务；如果失败，直接退出，说明已有实例在执行。
• 任务执行完成后，主动删除锁键（可选，因为过期时间到了会自动释放）。

示例代码片段：

const redis = require('redis');
const client = redis.createClient(process.env.REDIS_URL);

async function runCronTask() {
  const lockKey = 'cron:daily-report:lock';
  const lockExpiry = 3600; // 1小时过期

  // 尝试获取锁
  const lockAcquired = await client.set(lockKey, 'locked', {
    NX: true,
    EX: lockExpiry
  });

  if (!lockAcquired) {
    console.log('另一个实例正在执行任务，本次跳过');
    return;
  }

  try {
    // 执行你的任务逻辑
    console.log('开始执行定时任务...');
    // ...任务代码
  } finally {
    // 释放锁
    await client.del(lockKey);
  }
}

2. DynamoDB分布式锁 #

如果你的环境已经在使用DynamoDB，也可以用它的条件写入来实现锁：

• 创建一个DynamoDB表，主键为任务名称，字段包含lockExpiry（锁过期时间戳）。
• 任务触发时，尝试写入一条记录，条件是“记录不存在，或者锁已经过期”。
• 写入成功则执行任务，失败则跳过。

这种方案不需要额外部署Redis，利用AWS原生服务即可，适合轻量级任务。

方案三：用AWS CloudWatch Events + Lambda替代NodeJS Cron #

把原来的Cron任务逻辑迁移到Lambda函数，然后用CloudWatch Events来定时触发。这种方式完全绕开了多实例的问题，因为Lambda是由AWS调度执行的，每次触发只会执行一次，而且不需要你管理服务器。

步骤大概是：

1. 把NodeJS任务代码打包成Lambda兼容的zip包（注意处理依赖）。
2. 在AWS控制台创建Lambda函数，上传代码。
3. 创建CloudWatch Events规则，设置和原来Cron一样的触发时间，目标指向这个Lambda函数。

这种方案适合轻量级、独立的定时任务，不需要和Web服务共享内存或本地资源的场景，维护成本最低。

内容的提问来源于stack exchange，提问作者BeardMagician