Superagent异步嵌套HTTP调用问题：异步返回对象失败

我帮你分析下问题根源：cheerio的.each()是同步遍历方法，但你在里面调用的getOrder是异步函数（包含await请求），同步循环不会等待每个异步操作完成就继续往下走了。等你的getData函数准备返回结果时，那些嵌套的请求大概率还没执行完，自然拿不到完整数据。

下面是具体的修复方案和重构后的代码：

核心修复思路 #

1. 把cheerio的DOM对象转成普通数组，放弃用.each()遍历，改用Promise.all()来批量处理异步请求，确保所有请求都完成后再返回结果。
2. 确保getOrder函数返回一个Promise，明确它的异步行为。
3. 调整getData的逻辑流程，等待所有嵌套请求完成后再整理返回数据。

重构后的代码示例 #

const request = require('superagent');
const cheerio = require('cheerio');

// 封装getOrder为返回Promise的异步函数
async function getOrder(orderUrl) {
  try {
    const res = await request.get(orderUrl);
    const $ = cheerio.load(res.text);
    // 这里根据你要提取的表格数据逻辑写，示例假设提取表格行的文本
    const orderData = [];
    $('table#target-table tr').each((i, el) => {
      const cells = $(el).find('td');
      orderData.push({
        col1: $(cells[0]).text().trim(),
        col2: $(cells[1]).text().trim()
      });
    });
    return orderData;
  } catch (err) {
    console.error('获取订单数据失败:', err);
    return null; // 或者抛出错误，根据你的错误处理需求调整
  }
}

async function getData() {
  try {
    // 第一个请求：获取主页面的表格链接
    const mainRes = await request.get('你的主页面URL');
    const $ = cheerio.load(mainRes.text);
    
    // 把cheerio对象转成数组，方便后续Promise.all处理
    const linkElements = Array.from($('table#main-table a'));
    // 收集所有需要请求的链接和对应的异步任务
    const fetchTasks = linkElements.map(async (el) => {
      const orderUrl = $(el).attr('href');
      // 处理相对链接的情况，如果是绝对链接可以直接用
      const fullUrl = new URL(orderUrl, '你的主页面URL').href;
      const orderData = await getOrder(fullUrl);
      // 返回包含原链接和对应数据的对象，方便后续整理
      return {
        sourceLink: fullUrl,
        orderData: orderData
      };
    });

    // 等待所有异步请求完成
    const allResults = await Promise.all(fetchTasks);
    // 过滤掉请求失败的结果（如果有的话）
    const validResults = allResults.filter(item => item.orderData !== null);
    
    return validResults;
  } catch (err) {
    console.error('获取主页面数据失败:', err);
    throw err; // 向上抛出错误，让调用方处理
  }
}

// 调用示例
getData().then(results => {
  console.log('最终爬取结果:', results);
}).catch(err => {
  console.error('整体爬取失败:', err);
});

关键修改点说明 #

• 替换.each()为数组遍历+Promise.all：同步循环无法等待异步操作，Promise.all()会等待所有传入的Promise都完成后才继续执行，保证你拿到完整的结果集。
• 明确异步函数的返回值：getOrder现在明确返回Promise，里面处理请求和数据提取，出错时也做了捕获处理。
• 处理相对链接：用new URL()把页面中的相对链接转成绝对链接，避免请求地址错误。
• 错误处理：在每个异步步骤都添加了try/catch，方便排查哪一步出了问题。

这样修改后，你调用getData()就能拿到完整的嵌套表格数据了，而不是提前返回不完整的结果。

内容的提问来源于stack exchange，提问作者Jyme