Express.js及HTTP服务端请求排队方案咨询 适配K8s集群资源不足场景

完全可以在HTTP服务侧实现请求排队作为K8s资源不足、扩容pending时的临时缓冲方案，具体实现可以从Express服务层、集群入口层两个维度落地：

Express 内置排队实现 #

单实例维度的排队可以通过队列中间件实现，核心逻辑是限制服务同时处理的并发请求数，超出阈值的请求存入内存队列等待空闲资源，队列满时直接返回503状态码避免服务雪崩。

代码示例 #

1. 安装依赖
   npm install express-queue
2. 接入中间件

const express = require('express');
const queue = require('express-queue');
const app = express();

// activeLimit：单实例最大同时处理的请求数，根据服务压测结果调整
// queuedLimit：最大排队请求数，避免内存溢出
app.use(queue({ activeLimit: 30, queuedLimit: 150 }));

// 业务路由
app.get('/api/core-service', (req, res) => {
  // 业务处理逻辑
  res.json({ code: 0, data: 'success' });
});

// 队列溢出错误处理
app.use((err, req, res, next) => {
  if (err.type === 'queue') {
    res.status(503).json({ code: 503, msg: '服务繁忙，请稍后重试' });
    return;
  }
  next(err);
});

app.listen(3000, () => {
  console.log('service started');
});

如果需要自定义排队超时逻辑，可以自己实现简易队列中间件，给每个入队的请求加超时定时器，超过20~30秒未处理就提前返回503。

集群入口层排队（更推荐） #

Express单实例排队无法全局控制集群整体并发，更建议在K8s Ingress层或者前置Nginx层做全局排队，流量分配更均匀，也不需要修改业务代码。

Nginx 配置示例 #

http {
  # 定义限流排队规则，rate为每秒处理的请求数，zone为内存存储区大小
  limit_req_zone $server_name zone=core_api:10m rate=150r/s;

  server {
    listen 80;
    location /api/ {
      # burst为最大排队长度，超出排队长度的请求直接返回503
      limit_req zone=core_api burst=300;
      proxy_pass http://k8s-inner-service-name;
    }
  }
}

K8s Ingress Nginx 配置示例 #

直接给Ingress资源加注解即可生效：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: core-service-ingress
  annotations:
    nginx.ingress.kubernetes.io/limit-rps: "150"
    nginx.ingress.kubernetes.io/limit-burst: "300"
spec:
  rules:
  - host: your-domain.com
    http:
      paths:
      - path: /api
        pathType: Prefix
        backend:
          service:
            name: core-service
            port:
              number: 80

注意事项 #

• 排队仅作为突发流量的临时缓冲方案，不能替代集群扩容，长期还是需要配置K8s Cluster Autoscaler自动扩容节点资源，从根本上解决资源不足的问题
• 排队长度和超时时间要合理设置，避免请求堆积太久导致用户侧重试放大流量
• 可以对非核心接口配置降级逻辑，排队满时优先保障核心业务接口的处理资源

内容的提问来源于stack exchange，提问作者Fatemeh Davoudi