如何使用Sequelize查询结果逐次串行执行Puppeteer单条记录爬虫任务
问题修复方案
核心问题定位
- 现有代码使用
Array.map搭配async函数,会同时生成多个异步任务并行执行,无法实现串行等待 - 代码混用回调风格与
async/await语法,await无法正确捕获回调的完成时机,等待逻辑失效
改造步骤
1. 改造爬虫控制器为Promise风格
将原来的回调传参改为返回Promise,方便await等待执行结果:
exports.directFind = async (vin) => { if (!vin) return null const browserInstance = browserObject.startBrowser(); // 直接返回scraperController的执行结果,无需额外回调 return await scraperController(browserInstance, vin) };
2. Promise化状态查询函数,替换map为for...of实现串行
把回调风格的findLatestVinStatus包装为Promise,使用for...of循环逐条执行任务,保证前一条任务完全结束后才启动下一条:
// 先把回调风格的状态查询方法包装成Promise const findLatestVinStatusPromise = (vinId) => { return new Promise((resolve) => { status.findLatestVinStatus(vinId, resolve) }) } const sendNotif = async () => { try { const vins = await Vins.findAll({raw : true}) // 用for...of循环实现串行执行 for (const vin of vins) { console.log('开始处理vin:', vin.vin) // 等待当前爬虫任务执行完成 const scrapeRes = await search.directFind(vin.vin) // 等待状态查询完成 const latestVINStatus = await findLatestVinStatusPromise(vin.id) // 业务逻辑判断 if (latestVINStatus.vmacs3CharCode == scrapeRes.result.order.vmacs3CharCode || latestVINStatus.gobStatusCode == scrapeRes.result.order.gobStatusCode) { console.log("we need to send notif") // sendEmail(scrapeRes.result) } console.log('当前vin处理完成:', vin.vin) } console.log('所有vin全部处理完成') } catch (err) { console.error('任务执行出错:', err) } }
可选优化
如果不需要每个爬虫任务都启动独立浏览器,可以将Browser实例初始化提到循环外,复用同一个浏览器打开多个页面执行任务,大幅降低性能开销:
const sendNotif = async () => { // 全局只启动一次浏览器 const browserInstance = await browserObject.startBrowser(); try { const vins = await Vins.findAll({raw : true}) for (const vin of vins) { // 把browserInstance作为参数传入scraperController,复用浏览器 const scrapeRes = await scraperController(browserInstance, vin) // 剩余业务逻辑和上文一致 } } finally { // 所有任务完成后关闭浏览器 await browserInstance.close() } }
内容的提问来源于stack exchange,提问作者Louis B
相关产品推荐
相关产品推荐

