TypeScript中Async/await与Cheerio结合的异步问题求助

针对你提出的四个疑问及邮件提前发送的问题，逐一解答如下：

1. 是否需要在请求前使用await Promise.all()等待请求完成？ #

是的，这是解决你当前邮件提前发送问题的核心步骤之一。如果是并行爬取多个URL，需要把所有请求的Promise收集到一个数组中，再用await Promise.all(请求Promise数组)等待所有请求全部完成后，再进行后续的Cheerio解析和数据提取。

如果不这么做，循环发起请求时，每个请求都是异步的，代码会直接跳过等待进入后续的邮件发送逻辑，自然会出现爬虫没跑完就发邮件的情况。如果是串行爬取（必须等前一个URL爬完再爬下一个），可以在循环内部逐个await请求，但并行方式的效率更高。

2. 是否需要等待cheerio.load(html)函数执行完成？ #

不需要。cheerio.load(html)是同步函数，它会立即把HTML字符串转换成可操作的Cheerio DOM对象，不存在异步等待的必要，直接调用并赋值即可：

const $ = cheerio.load(html);

3. $('article').each的执行是否需处理异步？ #

Cheerio的each方法本身是同步遍历，不需要额外处理异步。但要注意：如果在each的回调函数内部有异步操作（比如爬取文章详情页、写入数据库等），就不能直接用each了——因为同步遍历不会等待内部的异步任务完成。

这种情况下，应该改用map方法把每个异步操作转换成Promise，再用await Promise.all()等待所有异步任务完成：

// 错误示例：each内部异步会“跑飞”，不会等待完成
$('article').each(async (idx, elem) => {
  await fetchDetail($(elem).attr('href'));
});

// 正确示例：用map收集Promise，再统一等待
const detailPromises = $('article').map((idx, elem) => {
  return fetchDetail($(elem).attr('href'));
}).get(); // 把Cheerio对象转成普通数组
await Promise.all(detailPromises);

4. 主类中如何实现所有URL处理完成后再调用processMailer方法？ #

核心思路是把所有URL的爬取+解析逻辑包装成Promise，统一等待所有Promise完成后再触发邮件发送，具体步骤如下：

1. 把单个URL的处理逻辑封装成异步函数：

async function crawlSingleUrl(url) {
  // 1. 发起请求并等待响应
  const response = await fetch(url);
  const html = await response.text();
  // 2. 解析HTML
  const $ = cheerio.load(html);
  // 3. 提取优惠信息
  const deals = [];
  $('article').each((idx, elem) => {
    deals.push({
      title: $(elem).find('h3').text().trim(),
      price: $(elem).find('.price').text().trim()
    });
  });
  return deals;
}

2. 在主逻辑中，收集所有URL对应的Promise，等待全部完成后再调用邮件方法：

class CrawlerMailer {
  async start() {
    const targetUrls = ['url1', 'url2', 'url3'];
    // 收集所有爬取任务的Promise
    const allDealsPromises = targetUrls.map(url => crawlSingleUrl(url));
    // 等待所有爬取任务完成，得到所有优惠数据
    const allDealsArray = await Promise.all(allDealsPromises);
    // 汇总所有数据（把二维数组转成一维）
    const totalDeals = allDealsArray.flat();
    // 所有任务完成后，再调用邮件发送方法
    await this.processMailer(totalDeals);
  }

  async processMailer(deals) {
    // 邮件发送逻辑
  }
}

这样就能保证只有当所有URL的爬取、解析、数据提取全部完成后，才会执行邮件发送逻辑，解决提前发邮件的问题。

内容的提问来源于stack exchange，提问作者Mavelouscello