Node.js多站点爬虫循环实现及多请求异步问题求助

这个问题我太熟悉了——Node.js的异步特性确实很容易在循环里踩这种闭包坑！你遇到的核心问题是：request是异步函数，循环会先同步执行完所有迭代，此时变量i已经变成了url.length（也就是2），等所有回调函数执行时，它们引用的都是同一个i变量，自然无法区分对应的站点。

下面给你三种实用的解决方案，从传统到现代写法都有：

1. 用立即执行函数(IIFE)捕获循环变量 #

通过立即执行函数为每个循环迭代创建独立的作用域，把当前的i值“固定”下来：

var url = [ "https://site1.com", "https://site2.com" ];
var items = [];
var i;
for(i=0; i<url.length; i++){
  // 用IIFE捕获当前迭代的i值，命名为currentIndex
  (function(currentIndex) {
    request(url[currentIndex], function(err, response, html){
      if(!err) {
        var $ = cheerio.load(html);
        if(currentIndex == 0){
          $(".class1").find("a").each(function (index, element){
            items.push($(element).text());
          });
        }else if(currentIndex == 1){
          $(".class1").find("a").each(function (index, element){
            items.push($(element).text());
          });
        }
      }
    });
  })(i); // 把当前的i作为参数传入IIFE
}

原理：每个IIFE都会创建一个独立的作用域，currentIndex参数会绑定当前迭代的i值，后续回调函数引用的都是这个固定的值，不会被循环的i修改。

2. 用ES6的let声明循环变量（推荐简单场景） #

ES6的let在for循环中会自动为每个迭代创建块级作用域，这是最简洁的解决方案：

const url = [ "https://site1.com", "https://site2.com" ];
const items = [];
// 用let声明循环变量i，每次迭代都是独立的作用域
for(let i=0; i<url.length; i++){
  request(url[i], function(err, response, html){
    if(!err) {
      const $ = cheerio.load(html);
      if(i == 0){
        $(".class1").find("a").each(function (index, element){
          items.push($(element).text());
        });
      }else if(i == 1){
        $(".class1").find("a").each(function (index, element){
          items.push($(element).text());
        });
      }
    }
  });
}

原理：let在for循环的每次迭代中都会生成一个新的变量绑定，每个异步回调引用的都是当前迭代的i值，不会被后续循环覆盖。

3. 用Promise + Promise.all处理异步流程（推荐复杂场景） #

如果你的订阅阅读器后续需要处理更多请求或更复杂的异步逻辑，用Promise来重构会更易维护，还能统一处理所有请求的完成状态：

const url = [ "https://site1.com", "https://site2.com" ];
const items = [];

// 先把request包装成Promise函数
function fetchSite(url) {
  return new Promise((resolve, reject) => {
    request(url, (err, response, html) => {
      if (err) {
        reject(err);
        return;
      }
      // 返回html和对应的索引/url，方便后续区分
      resolve({ html, url });
    });
  });
}

// 并行发起所有请求，等全部完成后处理结果
Promise.all(url.map((siteUrl, index) => fetchSite(siteUrl)))
  .then(results => {
    results.forEach((result, index) => {
      const $ = cheerio.load(result.html);
      if (index === 0) {
        $(".class1").find("a").each((_, element) => {
          items.push($(element).text());
        });
      } else if (index === 1) {
        $(".class1").find("a").each((_, element) => {
          items.push($(element).text());
        });
      }
    });
    // 所有数据提取完成后的逻辑，比如打印或存储
    console.log("所有订阅内容提取完成:", items);
  })
  .catch(err => {
    console.error("请求出错:", err);
  });

原理：Promise.all会等待所有请求完成后统一处理结果，map生成的每个Promise对应一个站点，结果数组的索引和原url数组一一对应，完美解决了站点匹配的问题，同时还能避免回调地狱。

内容的提问来源于stack exchange，提问作者Worapol Pragobkit