在Node.js解析HTML时如何确定当前页面的URL？

这个问题我之前也碰到过，核心原因是var声明的变量在循环里存在闭包共享的问题，再加上request是异步执行的，等回调触发时循环已经跑完了，自然拿不到对应的URL。给你几个实用的解决思路：

1. 使用ES6的let声明变量（最简单的方案） #

let会在每次循环迭代中创建块级作用域，每个迭代的变量都是独立的，完美解决闭包共享问题：

const requestList = [ 'https://blahblah.com', 'https://blah2.com' ];
for (let i = 0; i < requestList.length; i++) {
  const currentUrl = requestList[i];
  request(currentUrl, function (error, response, html) {
    if (!error && response.statusCode == 200) {
      const $ = cheerio.load(html);
      console.log('当前解析的页面URL:', currentUrl);
      // 你的HTML解析逻辑写在这里
    }
  });
}

这里的currentUrl在每次循环里都是全新的变量，回调函数会捕获当前迭代的变量实例，异步执行时就能拿到正确的URL。

2. 用立即执行函数(IIFE)创建独立作用域（ES6之前的传统方案） #

如果你的环境还不支持ES6，可以手动用IIFE创建闭包，把当前URL保存下来：

var requestList = [ 'https://blahblah.com', 'https://blah2.com' ];
for (var i = 0; i < requestList.length; i++) {
  // 把当前URL作为参数传入IIFE，创建独立作用域
  (function(currentUrl) {
    request(currentUrl, function (error, response, html) {
      if (!error && response.statusCode == 200) {
        var $ = cheerio.load(html);
        console.log('当前解析的页面URL:', currentUrl);
        // 你的HTML解析逻辑
      }
    });
  })(requestList[i]);
}

IIFE内部的currentUrl是独立于循环变量的，回调函数引用的是这个独立变量，不会被后续循环覆盖。

3. 使用数组forEach遍历（更简洁的写法） #

forEach的每次迭代都会创建一个新的函数作用域，天然避免闭包问题：

var requestList = [ 'https://blahblah.com', 'https://blah2.com' ];
requestList.forEach(function(currentUrl) {
  request(currentUrl, function (error, response, html) {
    if (!error && response.statusCode == 200) {
      var $ = cheerio.load(html);
      console.log('当前解析的页面URL:', currentUrl);
      // 你的HTML解析逻辑
    }
  });
});

forEach的回调函数会自动接收当前元素作为参数，这个参数在每次迭代中都是独立的，异步回调里能直接拿到对应的URL。

4. 改用async/await（推荐，代码可读性更高） #

如果你的环境支持ES7+，可以把异步代码改成同步风格，逻辑更清晰：

const request = require('request-promise'); // 需要使用支持Promise的request版本
const cheerio = require('cheerio');

const requestList = [ 'https://blahblah.com', 'https://blah2.com' ];

async function parseAllPages() {
  for (const url of requestList) {
    try {
      const html = await request(url);
      const $ = cheerio.load(html);
      console.log('当前解析的页面URL:', url);
      // 你的HTML解析逻辑
    } catch (error) {
      console.error('请求页面出错:', url, error);
    }
  }
}

parseAllPages();

用for...of配合await，每次循环都会等待请求完成再进行下一次，url变量在每次迭代中都是独立的，自然能拿到正确的页面地址。注意这里需要用request-promise或者自己把原生request封装成Promise。

内容的提问来源于stack exchange，提问作者bayarea