You need to enable JavaScript to run this app. 如何使用Sequelize查询结果逐次串行执行Puppeteer单条记录爬虫任务
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Sequelize查询结果逐次串行执行Puppeteer单条记录爬虫任务

问题修复方案

核心问题定位

  • 现有代码使用Array.map搭配async函数,会同时生成多个异步任务并行执行,无法实现串行等待
  • 代码混用回调风格与async/await语法,await无法正确捕获回调的完成时机,等待逻辑失效

改造步骤

1. 改造爬虫控制器为Promise风格

将原来的回调传参改为返回Promise,方便await等待执行结果:

exports.directFind = async (vin) => {
    if (!vin) return null
    const browserInstance = browserObject.startBrowser();
    // 直接返回scraperController的执行结果,无需额外回调
    return await scraperController(browserInstance, vin)
};

2. Promise化状态查询函数,替换map为for...of实现串行

把回调风格的findLatestVinStatus包装为Promise,使用for...of循环逐条执行任务,保证前一条任务完全结束后才启动下一条:

// 先把回调风格的状态查询方法包装成Promise
const findLatestVinStatusPromise = (vinId) => {
  return new Promise((resolve) => {
    status.findLatestVinStatus(vinId, resolve)
  })
}

const sendNotif = async () => {
  try {
    const vins = await Vins.findAll({raw : true})
    // 用for...of循环实现串行执行
    for (const vin of vins) {
      console.log('开始处理vin:', vin.vin)
      // 等待当前爬虫任务执行完成
      const scrapeRes = await search.directFind(vin.vin)
      // 等待状态查询完成
      const latestVINStatus = await findLatestVinStatusPromise(vin.id)
      // 业务逻辑判断
      if (latestVINStatus.vmacs3CharCode == scrapeRes.result.order.vmacs3CharCode || latestVINStatus.gobStatusCode == scrapeRes.result.order.gobStatusCode) {
        console.log("we need to send notif")
        // sendEmail(scrapeRes.result)
      }
      console.log('当前vin处理完成:', vin.vin)
    }
    console.log('所有vin全部处理完成')
  } catch (err) {
    console.error('任务执行出错:', err)
  }
}

可选优化

如果不需要每个爬虫任务都启动独立浏览器,可以将Browser实例初始化提到循环外,复用同一个浏览器打开多个页面执行任务,大幅降低性能开销:

const sendNotif = async () => {
  // 全局只启动一次浏览器
  const browserInstance = await browserObject.startBrowser();
  try {
    const vins = await Vins.findAll({raw : true})
    for (const vin of vins) {
      // 把browserInstance作为参数传入scraperController,复用浏览器
      const scrapeRes = await scraperController(browserInstance, vin)
      // 剩余业务逻辑和上文一致
    }
  } finally {
    // 所有任务完成后关闭浏览器
    await browserInstance.close()
  }
}

内容的提问来源于stack exchange,提问作者Louis B

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 07:27:00