如何通过嵌套HTTP请求更新Node.js中的产品字典？

你的问题核心在于JavaScript异步操作的执行顺序：axios.get是异步任务，在updateProducts的循环里，你发起了多个描述请求，但这些请求不会阻塞后续代码——当你在循环外尝试打印产品字典时，所有请求还没完成，自然看不到描述内容。下面给你两种可行的解决方案：

方案1：用async/await逐个处理请求（简单直观） #

把updateProducts改成异步函数，在循环里用await等待每个请求完成，确保每个产品的描述都被获取后再继续执行后续代码：

// 把updateProducts改为异步函数
async function updateProducts(prodDict) {
  // 用for...of遍历数组，避免for...in的异步陷阱
  for (const product of prodDict) {
    try {
      // 等待当前产品的描述请求完成
      const res = await axios.get(product.mpUrl);
      const $ = cheerio.load(res.data);
      const description = $("div.description p").text();
      product.descr = description;
    } catch (e) {
      console.error(`获取产品描述失败: ${product.mpUrl}`, e);
      // 给失败的产品设置默认描述，避免数据缺失
      product.descr = "获取描述失败";
    }
  }
  // 到这里所有产品的描述都已经更新完成
}

同时，主请求链也要改成异步函数，调用updateProducts时用await等待它完成：

// 把整个抓取逻辑包裹在异步函数里
async function fetchProducts() {
  try {
    const res = await axios.get(url);
    console.log("Got products in HTML");
    getProducts(res.data); // 假设这个函数负责处理HTML生成productsHTML
    parseProducts(productsHTML);
    console.log("Generated dictionary with all the products");
    await updateProducts(products); // 等待所有描述更新完成
    console.log("所有产品信息已完善", products); // 这里打印就能看到描述了
  } catch (e) {
    console.log(e);
  }
}

// 启动抓取流程
fetchProducts();

方案2：用Promise.all并行处理请求（效率更高） #

如果产品数量较多，逐个请求会比较慢，用Promise.all可以同时发起所有描述请求，等待全部完成后再批量更新字典：

async function updateProducts(prodDict) {
  // 生成所有描述请求的Promise数组
  const descriptionTasks = prodDict.map(async (product) => {
    try {
      const res = await axios.get(product.mpUrl);
      const $ = cheerio.load(res.data);
      return {
        product,
        description: $("div.description p").text()
      };
    } catch (e) {
      console.error(`获取产品描述失败: ${product.mpUrl}`, e);
      return {
        product,
        description: "获取描述失败"
      };
    }
  });

  // 等待所有请求完成
  const results = await Promise.all(descriptionTasks);
  
  // 批量更新产品描述
  results.forEach(result => {
    result.product.descr = result.description;
  });
}

调用方式和方案1一致，在主异步函数里用await updateProducts(products)即可。

额外注意事项 #

1. 避免用for...in遍历数组：for...in是为遍历对象属性设计的，遍历数组推荐用for...of或普通for循环，避免意外遍历到数组原型上的属性。
2. 全局变量风险：确保products变量在parseProducts和updateProducts的作用域内可访问，最好不要用全局变量，改成函数传参更安全。
3. 错误处理：一定要给异步请求加try/catch，避免单个请求失败导致整个抓取流程中断。

内容的提问来源于stack exchange，提问作者Tom de Visser