Puppeteer抓取无限滚动页面全量链接:结果返回与分块输出实现问题
Puppeteer 无限滚动抓链接问题说明与修正
用途说明
该脚本用于对无限滚动页面执行持续滚动操作,滚动过程中触发页面加载新内容,同时抓取页面内全部链接。
现存待解决问题
- 如何正确返回抓取得到的全量链接结果?
- 如何实现分块返回抓取结果,避免将各次抓取的部分结果直接追加到同一个数组中?
现有实现代码
const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch({ headless: false, userDataDir: "C:\\Users\\johndoe\\AppData\\Local\\Google\\Chrome\\User Data\\Default" }); const page = await browser.newPage(); await page.setViewport({ width: 1920, height: 1080, deviceScaleFactor: 1, }); await page.goto('https://www.facebook.com/groups/000000000000/members',{waitUntil: 'networkidle0'}); page.on('console', msg => console.log('PAGE LOG:', msg.text())); let rawMembers = await page.evaluate(() => { const intervall = 3000; let stop = false; document.addEventListener('keypress', e => stop = true); let results = []; let pageHeigth = 0; let timerId = setTimeout(function tick() { if ((stop === false) && (document.body.scrollHeight > pageHeigth)){ pageHeigth = document.body.scrollHeight document.scrollingElement.scrollTop = pageHeigth; console.log('PAGE HEIGTH: ', pageHeigth); const anchors = Array.from(document.querySelectorAll('a')); const serializableLinks = anchors.map(x => x.getAttribute("href")); results.concat(serializableLinks); timerId = setTimeout(tick, intervall); } else { clearTimeout(timerId) console.log('Exit'); return results; } }, intervall); }); //await browser.close(); })();
问题根因
- 全量链接无法正确返回的核心原因
concat方法不会修改原数组:代码中results.concat(serializableLinks)仅返回拼接后的新数组,没有赋值回results,导致results始终为空。page.evaluate异步时序问题:evaluate内部使用了setTimeout循环,但evaluate会在同步代码执行完成后立即返回,不会等待setTimeout的异步循环执行完毕,因此当前rawMembers实际拿到的是undefined。
- 分块返回需求不匹配的原因:现有逻辑只能等整个滚动流程完全结束后才能一次性返回所有结果,没有提供中途推送单批次抓取结果的通道。
修正方案
1. 正确返回全量链接
- 把
results.concat(serializableLinks)替换为results.push(...serializableLinks),直接把单批次链接存入数组。 - 用Promise封装
setTimeout循环,让page.evaluate等待整个滚动流程结束后再返回最终的results数组。
2. 分块返回抓取结果
使用Puppeteer提供的page.exposeFunction,在Node侧注册全局回调函数,页面侧每抓取到一批新链接就直接调用该回调把数据推回Node侧,无需等待整个滚动流程结束,实现边抓取边返回的分块逻辑。
修正后可直接运行的代码
const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch({ headless: false, userDataDir: "C:\\Users\\johndoe\\AppData\\Local\\Google\\Chrome\\User Data\\Default" }); const page = await browser.newPage(); await page.setViewport({ width: 1920, height: 1080, deviceScaleFactor: 1 }); // 注册分块返回的回调:每抓到一批链接就直接推到Node侧 let chunkIndex = 0; await page.exposeFunction('onLinksChunk', (chunkLinks) => { chunkIndex++; console.log(`收到第${chunkIndex}批抓取结果,共${chunkLinks.length}个链接:`, chunkLinks); // 可在这里直接做存储、写入文件等操作,不需要等全量结果 }); await page.goto('https://www.facebook.com/groups/000000000000/members', { waitUntil: 'networkidle0' }); page.on('console', msg => console.log('PAGE LOG:', msg.text())); // 等待整个滚动流程结束,返回全量结果 const rawMembers = await page.evaluate(() => { const interval = 3000; let stop = false; document.addEventListener('keypress', () => stop = true); let results = []; let pageHeight = 0; // 返回Promise,等待滚动循环结束 return new Promise((resolve) => { const tick = () => { if (stop === false && document.body.scrollHeight > pageHeight) { pageHeight = document.body.scrollHeight; document.scrollingElement.scrollTop = pageHeight; const anchors = Array.from(document.querySelectorAll('a')); const serializableLinks = anchors.map(x => x.getAttribute("href")); // 分块推送到Node侧 window.onLinksChunk(serializableLinks); // 存入全量数组 results.push(...serializableLinks); setTimeout(tick, interval); } else { clearTimeout(); console.log('滚动退出'); resolve(results); } }; // 首次执行 setTimeout(tick, interval); }); }); console.log('全量抓取结果总链接数:', rawMembers.length); // await browser.close(); })();
内容的提问来源于stack exchange,提问作者pinale
相关产品推荐
相关产品推荐

