async模块异步爬取燃油价格时，回调返回数据异常问题求助

嘿，我来帮你梳理下这个问题的核心原因和解决办法！

核心问题：误解了async.each的作用 #

首先得明确：async.each的设计目的是遍历执行异步任务，不收集任务结果。你在迭代函数里调用cb(null, prices)时，第二个参数prices其实会被async.each忽略——它只关心第一个参数（错误信息），用来判断当前迭代是否完成。这就是你console.log(prices)看不到预期结果的根本原因。

另外，错误回调被触发，大概率是某个迭代环节出了未被正确捕获的错误，或者你误将结果当成错误传给了cb（比如写成cb(prices)而非cb(null, prices)）。

解决方案：换用async.map收集结果 #

如果你需要收集每个链接解析后的燃油价格数组，async.map才是正确的选择——它会自动收集每个异步任务的返回结果，最终在回调里一次性返回所有结果。

示例代码如下：

const async = require('async');
const request = require('request');

// 假设你的目标链接数组是这个
const targetUrls = ['https://example.com/state1', 'https://example.com/state2'];

async.map(targetUrls, (url, taskCb) => {
  // 发起异步请求
  request(url, (reqErr, res, htmlBody) => {
    if (reqErr) {
      // 请求出错，直接传递错误给taskCb
      return taskCb(reqErr);
    }

    try {
      // 用你的scrap函数解析HTML
      const statePrices = scrap(htmlBody);
      // 将当前链接的解析结果传给map，错误参数传null
      taskCb(null, statePrices);
    } catch (parseErr) {
      // 捕获解析过程中的异常，避免触发全局错误
      taskCb(parseErr);
    }
  });
}, (finalErr, allPrices) => {
  if (finalErr) {
    console.error('批量请求/解析出错:', finalErr);
    return;
  }
  // allPrices是所有链接解析结果的数组集合
  console.log('按州分类的燃油价格汇总:', allPrices);
  // 这里可以进一步合并/整理allPrices成你需要的结构
});

如果坚持用async.each（不推荐） #

要是你非要用async.each，只能通过外部变量手动收集结果，但要注意并发安全（数组push是原子操作，这里没问题）：

const allPrices = [];

async.each(targetUrls, (url, taskCb) => {
  request(url, (reqErr, res, htmlBody) => {
    if (reqErr) return taskCb(reqErr);
    try {
      const statePrices = scrap(htmlBody);
      // 将当前结果合并到外部数组
      allPrices.push(...statePrices);
      // 只传递null，通知当前迭代完成
      taskCb(null);
    } catch (parseErr) {
      taskCb(parseErr);
    }
  });
}, (finalErr) => {
  if (finalErr) {
    console.error('操作出错:', finalErr);
    return;
  }
  console.log('汇总结果:', allPrices);
});

错误回调触发的排查要点 #

1. 检查错误传递是否正确：确保没有写成cb(prices)（这会把结果当成错误传递，直接触发错误回调），必须是cb(null, 结果)或cb(错误对象)。
2. 捕获解析异常：scrap函数解析HTML时，可能因为页面结构不符合预期抛出异常，一定要用try-catch包裹，避免异常冒泡触发全局错误回调。
3. 排查请求错误：检查每个链接的请求是否成功（比如HTTP状态码是否为200），避免请求失败未被捕获。

内容的提问来源于stack exchange，提问作者Sushant Magoo