基于Node.js的爬虫代理故障相关HTTP错误码识别与处理问询

嘿，针对你提到的基于Node.js+request库的爬虫代理故障处理需求，我整理了一套可落地的生产级实现方案，核心覆盖代理相关HTTP错误码识别、阈值触发不可靠标记，以及诊断队列的处理逻辑：

我们需要先明确哪些HTTP错误码和代理故障强相关，再通过错误计数触发状态变更，最后用诊断队列定期校验代理是否恢复。

1. 定义代理相关错误码范围 #

首先要圈定那些大概率由代理故障引发的HTTP状态码，比如：

• 407：代理认证失败（可能是凭证过期或无效）
• 502：网关错误（代理转发请求时收到无效响应）
• 503：服务不可用（代理过载或维护中）
• 504：网关超时（代理未及时返回响应）

你可以根据代理供应商的文档，调整这个错误码列表。

2. 封装带代理错误识别的请求逻辑 #

基于request库封装请求函数，捕获网络错误和代理相关HTTP错误：

const request = require('request');

// 自定义代理相关错误码集合
const PROXY_ERROR_CODES = [407, 502, 503, 504];

function proxyRequest(url, proxyConfig) {
  return new Promise((resolve, reject) => {
    request({
      url,
      proxy: proxyConfig.proxyUrl,
      timeout: 10000, // 设置10秒超时，避免无响应挂起
      // 如果代理需要认证，这里可以添加auth字段
      // auth: { user: proxyConfig.username, pass: proxyConfig.password }
    }, (err, response, body) => {
      // 网络层面错误（如代理连接超时）直接归为代理故障
      if (err) {
        return reject({ type: 'proxy_network_error', msg: err.message });
      }

      // 检查是否是代理相关HTTP错误码
      if (PROXY_ERROR_CODES.includes(response.statusCode)) {
        return reject({
          type: 'proxy_http_error',
          statusCode: response.statusCode,
          msg: `Proxy returned status code ${response.statusCode}`
        });
      }

      // 请求成功，返回响应体
      resolve(body);
    });
  });
}

3. 代理状态管理与阈值触发 #

维护一个代理状态映射表，记录每个代理的错误计数和是否标记为不可靠，当错误数达到阈值时，将其排入诊断队列：

// 代理状态存储：key为代理URL，value为错误计数和可靠性标记
const proxyStatusMap = new Map();
// 自定义错误阈值：连续5次代理相关错误则标记不可靠
const ERROR_THRESHOLD = 5;

async function crawlWithProxy(url, proxyConfig) {
  let proxyStatus = proxyStatusMap.get(proxyConfig.proxyUrl) || {
    errorCount: 0,
    isUnreliable: false
  };

  // 如果代理已标记不可靠，直接排入诊断队列并抛出错误
  if (proxyStatus.isUnreliable) {
    enqueueProxyDiagnosis(proxyConfig);
    throw new Error(`Proxy ${proxyConfig.proxyUrl} is unreliable, queued for diagnosis`);
  }

  try {
    const result = await proxyRequest(url, proxyConfig);
    // 请求成功，重置错误计数
    proxyStatus.errorCount = 0;
    proxyStatusMap.set(proxyConfig.proxyUrl, proxyStatus);
    return result;
  } catch (err) {
    // 仅处理代理相关错误
    if (err.type === 'proxy_network_error' || err.type === 'proxy_http_error') {
      proxyStatus.errorCount += 1;

      // 达到阈值，标记为不可靠并排入诊断队列
      if (proxyStatus.errorCount >= ERROR_THRESHOLD) {
        proxyStatus.isUnreliable = true;
        enqueueProxyDiagnosis(proxyConfig);
        console.log(`Proxy ${proxyConfig.proxyUrl} marked as unreliable`);
      }

      proxyStatusMap.set(proxyConfig.proxyUrl, proxyStatus);
    }

    throw err;
  }
}

4. 诊断队列实现与定期校验 #

实现一个简单的队列，定期对标记为不可靠的代理进行测试，判断是否恢复可用：

const diagnosisQueue = [];
// 定期检查间隔：每分钟一次
const DIAGNOSIS_INTERVAL = 60 * 1000;

function enqueueProxyDiagnosis(proxyConfig) {
  // 避免重复入队
  const isInQueue = diagnosisQueue.some(item => item.proxyUrl === proxyConfig.proxyUrl);
  if (!isInQueue) {
    diagnosisQueue.push(proxyConfig);
    console.log(`Proxy ${proxyConfig.proxyUrl} added to diagnosis queue`);
  }
}

// 启动定期诊断任务
setInterval(async () => {
  if (diagnosisQueue.length === 0) return;

  // 取出队列头部的代理进行测试
  const proxyToCheck = diagnosisQueue.shift();
  try {
    // 用稳定的测试站点（如httpbin.org）验证代理可用性
    await proxyRequest('https://httpbin.org/get', proxyToCheck);
    // 测试成功，重置代理状态
    proxyStatusMap.set(proxyToCheck.proxyUrl, {
      errorCount: 0,
      isUnreliable: false
    });
    console.log(`Proxy ${proxyToCheck.proxyUrl} recovered, removed from unreliable list`);
  } catch (err) {
    // 测试失败，重新放回队列尾部
    diagnosisQueue.push(proxyToCheck);
    console.log(`Proxy ${proxyToCheck.proxyUrl} still faulty, requeued`);
  }
}, DIAGNOSIS_INTERVAL);

• 动态调整错误码：不同代理供应商可能返回特定的错误码，建议结合供应商文档更新PROXY_ERROR_CODES
• 并发控制：如果诊断队列较大，建议限制并发测试的代理数量，避免资源耗尽
• 认证处理：若代理需要动态认证（如临时令牌），可以在捕获407错误时添加刷新认证逻辑
• 日志监控：建议给代理状态变更、错误触发添加详细日志，方便排查问题

内容的提问来源于stack exchange，提问作者Estus Flask