基于Node.js的多用户Scrape API服务开发技术问询

完全适合。NodeJS的单线程异步IO模型刚好适配这种需要严格串行执行IO任务的场景——你要避免并发请求第三方，单线程天然能保证同一时间只有一个任务在执行，只要把所有抓取任务放到串行队列里，就能精准控制请求间隔，不会出现多个请求同时打向第三方的情况。之前用setTimeout没效果，是因为你没把任务串联起来，只是给每个任务加了延迟，但它们还是会在事件循环里并行触发，根本没形成串行队列。

核心思路是维护一个串行执行的任务队列，每个用户请求进来后，先把抓取逻辑包装成异步任务加入队列，队列会自动等待前一个任务完成后再执行下一个，同时可以在任务之间添加固定延迟。

方案1：手动实现简单串行队列 #

不需要额外依赖，用Promise链维护队列：

const express = require('express');
const axios = require('axios');
const app = express();

// 维护一个Promise，代表当前队列的最后一个任务
let queue = Promise.resolve();

// 添加任务到队列的函数
function addToQueue(task) {
  // 把新任务链接到现有队列后面
  queue = queue
    .then(task)
    // 任务之间添加固定延迟，比如2秒
    .then(() => new Promise(resolve => setTimeout(resolve, 2000)))
    .catch(err => console.error('任务执行失败:', err));
  return queue;
}

app.get('/scrape', async (req, res) => {
  try {
    // 从请求中获取用户的cookie/session
    const userCookies = req.headers.cookie;

    // 包装抓取任务
    const scrapeTask = async () => {
      const response = await axios.get('https://第三方网站地址', {
        headers: {
          Cookie: userCookies,
          // 模拟用户浏览器请求头
          'User-Agent': req.headers['user-agent']
        }
      });
      return response.data;
    };

    // 加入队列并等待执行结果
    const result = await addToQueue(scrapeTask);
    res.json({ success: true, data: result });
  } catch (err) {
    res.status(500).json({ success: false, error: err.message });
  }
});

app.listen(3000, () => console.log('服务器运行在3000端口'));

方案2：用成熟队列库p-queue #

如果需要更灵活的配置（比如优先级、超时、动态调整并发数），可以用p-queue：
首先安装依赖：

npm install p-queue

实现代码：

const express = require('express');
const axios = require('axios');
const { default: PQueue } = require('p-queue');
const app = express();

// 创建串行队列，每2秒执行1个任务
const queue = new PQueue({
  concurrency: 1,
  interval: 2000,
  intervalCap: 1
});

app.get('/scrape', async (req, res) => {
  try {
    const userCookies = req.headers.cookie;

    // 添加任务到队列
    const result = await queue.add(async () => {
      const response = await axios.get('https://第三方网站地址', {
        headers: {
          Cookie: userCookies,
          'User-Agent': req.headers['user-agent']
        }
      });
      return response.data;
    });

    res.json({ success: true, data: result });
  } catch (err) {
    res.status(500).json({ success: false, error: err.message });
  }
});

app.listen(3000, () => console.log('服务器运行在3000端口'));

1. 分布式消息队列：如果服务需要水平扩容（多台服务器），单进程队列无法共享，可以用Redis配合bullmq或bee-queue，把任务放到Redis队列中，多台服务器共享任务池，保证全局串行执行。
2. Worker线程：如果抓取过程包含大量CPU密集型操作（比如复杂HTML解析），可以把抓取任务放到Worker线程，但主线程仍需维护串行队列来控制请求频率，避免并发打向第三方。
3. 任务调度框架：比如NodeJS的Agenda，适合更复杂的任务调度场景（比如定时任务、失败重试策略），但你的需求用简单队列就能满足。

• 完全复用用户的请求头（User-Agent、Cookie、Referer等），模拟真实浏览器行为，降低被封禁概率。
• 不要用固定延迟，建议随机化延迟（比如1-3秒），或根据第三方网站的响应动态调整（比如返回429时延长延迟）。
• 添加失败重试机制，重试任务也要加入队列，避免立即重试触发反爬。

内容的提问来源于stack exchange，提问作者victor.ja