ExpressJs接收请求触发CPU密集型Python任务的实现方案咨询

正确调用Python脚本的实现方式 #

你需要用非阻塞的子进程调用方式，且让Python脚本脱离Express主进程生命周期，避免服务重启、请求断开时任务被意外终止，示例代码如下：

const { spawn } = require('child_process');
const fs = require('fs');

// 任务提交接口
app.post('/trigger-cpu-task', async (req, res) => {
  const userId = req.user.id; // 从鉴权逻辑取用户唯一标识
  // 前置校验用户提交资格
  const runningTask = await TaskModel.findOne({
    userId,
    status: { $in: ['pending', 'running'] }
  });
  if (runningTask) {
    return res.status(429).json({
      msg: '当前有任务正在运行，请等待任务结束后再提交新请求'
    });
  }
  // 生成唯一任务ID并落库
  const taskId = crypto.randomUUID();
  await TaskModel.create({
    taskId,
    userId,
    status: 'pending',
    params: req.body.taskParams,
    createdAt: new Date()
  });
  // 异步启动Python脚本，不阻塞主进程
  const pythonProcess = spawn('python3', ['/absolute/path/to/your/script.py', taskId], {
    detached: true,
    // 可将脚本输出写入日志文件，方便排查问题
    stdio: ['ignore', fs.openSync(`/data/logs/${taskId}.out.log`, 'a'), fs.openSync(`/data/logs/${taskId}.err.log`, 'a')]
  });
  // 解除主进程对子进程的引用
  pythonProcess.unref();
  // 立即返回响应
  return res.status(200).json({
    msg: '任务已申请成功，预计运行时长30分钟-2小时，运行期间不可提交新任务',
    taskId
  });
});

必须考虑的核心要点 #

• 请求超时处理：绝对不要等待Python脚本执行完成再返回响应，可将Express接口超时时间设置为1s以内，避免无效请求占用服务连接资源，同时提供单独的任务状态查询接口供用户主动查询进度。
• 子进程生命周期管理：不要使用execSync/execFileSync等同步调用方法，也不要在主进程中持有子进程运行状态的引用，detached: true + unref()的组合可以让Python脚本完全脱离Express主进程控制，就算Express服务重启，已启动的任务也不会被终止。
• 用户限流逻辑：必须在接口入口处优先校验用户的任务提交资格，不要等启动子进程后再校验，可通过数据库存储用户任务记录、或者Redis存储用户冷却标记的方式实现，避免单用户同时提交多个任务占满计算资源。
• 资源隔离：CPU密集型Python脚本不要和Express服务部署在同一台服务器/同一个容器实例上，避免脚本占满CPU资源导致Express的普通请求无法响应。
• 异常兜底：要配置定时任务扫描运行时长超过2小时的任务，标记为超时失败并清理对应进程，避免僵尸进程长期占用计算资源。

行业最佳实践 #

如果业务规模稍大，不建议直接在Express进程中启动脚本，推荐使用分布式任务队列架构：

• Express接口收到请求校验通过后，直接往消息队列（RabbitMQ、Redis List都可以，也可以直接用Python生态的Celery框架）写入任务消息，直接返回用户响应。
• 单独部署的Worker节点消费队列消息，执行Python脚本，执行完成后主动更新数据库中任务的状态、结果，支持任务重试、并发数控制、优先级调度等能力，避免任务量突增时压垮服务。
• 若需要进度查询能力，可以在Python脚本中增加进度上报逻辑，定期把当前进度写入Redis，用户查询状态时直接返回即可。

内容的提问来源于stack exchange，提问作者Mike Pham