循环中请求无响应时持续抓取网页及批量请求容错方案咨询

要解决批量抓取时因网络波动或单请求失败导致整个流程中断的问题，核心是捕获请求异常+失败重试+控制请求频率，下面是具体实现：

1. 基础异常捕获：避免单请求失败中断循环 #

把单个请求的逻辑用try/catch包裹，这样某条请求失败时，只会进入错误处理分支，不会终止整个循环。

2. 增加重试机制：应对短暂网络问题 #

封装一个带重试逻辑的请求函数，当请求失败时自动重试指定次数，直到成功或耗尽重试次数，不用因为一次短暂的网络波动就放弃抓取。

3. 控制请求间隔：降低反爬风险与网络压力 #

批量请求时加入固定延迟，避免短时间内发送大量请求被目标网站拦截，同时也能减少网络拥堵导致的失败概率。

完整实现代码 #

// 带重试逻辑的请求封装函数
async function fetchWithRetry(url, maxRetries = 3, retryDelay = 1000) {
  let retryCount = 0;
  while (retryCount < maxRetries) {
    try {
      const res = await fetch(url);
      // 检查HTTP响应状态，非2xx状态也视为失败
      if (!res.ok) throw new Error(`HTTP错误：状态码${res.status}`);
      return await res.text();
    } catch (err) {
      retryCount++;
      console.log(`请求失败，重试第${retryCount}次：${err.message}`);
      // 重试前等待指定时长
      await new Promise(resolve => setTimeout(resolve, retryDelay));
    }
  }
  // 重试耗尽后抛出最终错误
  throw new Error(`重试${maxRetries}次后仍失败：${url}`);
}

// 批量抓取主逻辑
async function batchScrape(NodeList) {
  for (const el of NodeList) {
    const url = el.getAttribute('href');
    if (!url) continue; // 跳过无有效链接的元素

    try {
      const html = await fetchWithRetry(url);
      const parser = new DOMParser();
      const doc = parser.parseFromString(html, 'text/html');
      console.log(`解析成功：${url}`);
      // 这里替换成你需要的业务逻辑，比如原代码的alert或数据存储
      // alert('parsed successfully');
    } catch (err) {
      console.error(`抓取失败：${err.message}`);
      // 单请求失败后继续处理下一个，不中断循环
      continue;
    }

    // 每次请求后添加固定延迟，可根据目标网站调整时长
    await new Promise(resolve => setTimeout(resolve, 500));
  }
}

// 调用批量抓取函数（传入你的NodeList）
// batchScrape(yourNodeList);

关键细节说明 #

• fetchWithRetry：可自定义最大重试次数和重试间隔，请求成功时返回HTML文本，仅在重试耗尽后才抛出错误。
• batchScrape：遍历元素时跳过无链接的节点，单个请求失败后直接进入下一轮循环，保证整体流程不中断。
• 请求延迟：默认500ms，可根据目标网站的反爬策略调整，避免触发限流或封禁。

内容的提问来源于stack exchange，提问作者dvtpetrosyan