You need to enable JavaScript to run this app. Puppeteer抓取无限滚动页面全量链接:结果返回与分块输出实现问题
优惠活动
大模型
产品
解决方案
定价
更多

Puppeteer抓取无限滚动页面全量链接:结果返回与分块输出实现问题

Puppeteer 无限滚动抓链接问题说明与修正

用途说明

该脚本用于对无限滚动页面执行持续滚动操作,滚动过程中触发页面加载新内容,同时抓取页面内全部链接。

现存待解决问题

  • 如何正确返回抓取得到的全量链接结果?
  • 如何实现分块返回抓取结果,避免将各次抓取的部分结果直接追加到同一个数组中?

现有实现代码

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    headless: false,
    userDataDir: "C:\\Users\\johndoe\\AppData\\Local\\Google\\Chrome\\User Data\\Default"
  });
  const page = await browser.newPage();
  await page.setViewport({
    width: 1920,
    height: 1080,
    deviceScaleFactor: 1,
  });
  await page.goto('https://www.facebook.com/groups/000000000000/members',{waitUntil: 'networkidle0'});
  page.on('console', msg => console.log('PAGE LOG:', msg.text()));

  let rawMembers = await page.evaluate(() => { 
    const intervall = 3000;
    let stop = false;
    document.addEventListener('keypress', e => stop = true);

    let results = [];
    let pageHeigth = 0;
    let timerId = setTimeout(function tick() {
      if ((stop === false) && (document.body.scrollHeight > pageHeigth)){
        pageHeigth = document.body.scrollHeight
        document.scrollingElement.scrollTop = pageHeigth;
        console.log('PAGE HEIGTH: ', pageHeigth);
        const anchors = Array.from(document.querySelectorAll('a'));
        const serializableLinks = anchors.map(x => x.getAttribute("href"));
        results.concat(serializableLinks);
        timerId = setTimeout(tick, intervall);
      } 
      else {
        clearTimeout(timerId)
        console.log('Exit');
        return results;
      }
    }, intervall);
  });

  //await browser.close();
})();

问题根因

  1. 全量链接无法正确返回的核心原因
    • concat方法不会修改原数组:代码中results.concat(serializableLinks)仅返回拼接后的新数组,没有赋值回results,导致results始终为空。
    • page.evaluate异步时序问题:evaluate内部使用了setTimeout循环,但evaluate会在同步代码执行完成后立即返回,不会等待setTimeout的异步循环执行完毕,因此当前rawMembers实际拿到的是undefined。
  2. 分块返回需求不匹配的原因:现有逻辑只能等整个滚动流程完全结束后才能一次性返回所有结果,没有提供中途推送单批次抓取结果的通道。

修正方案

1. 正确返回全量链接

  • 把results.concat(serializableLinks)替换为results.push(...serializableLinks),直接把单批次链接存入数组。
  • 用Promise封装setTimeout循环,让page.evaluate等待整个滚动流程结束后再返回最终的results数组。

2. 分块返回抓取结果

使用Puppeteer提供的page.exposeFunction,在Node侧注册全局回调函数,页面侧每抓取到一批新链接就直接调用该回调把数据推回Node侧,无需等待整个滚动流程结束,实现边抓取边返回的分块逻辑。

修正后可直接运行的代码

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    headless: false,
    userDataDir: "C:\\Users\\johndoe\\AppData\\Local\\Google\\Chrome\\User Data\\Default"
  });
  const page = await browser.newPage();
  await page.setViewport({ width: 1920, height: 1080, deviceScaleFactor: 1 });

  // 注册分块返回的回调:每抓到一批链接就直接推到Node侧
  let chunkIndex = 0;
  await page.exposeFunction('onLinksChunk', (chunkLinks) => {
    chunkIndex++;
    console.log(`收到第${chunkIndex}批抓取结果,共${chunkLinks.length}个链接:`, chunkLinks);
    // 可在这里直接做存储、写入文件等操作,不需要等全量结果
  });

  await page.goto('https://www.facebook.com/groups/000000000000/members', { waitUntil: 'networkidle0' });
  page.on('console', msg => console.log('PAGE LOG:', msg.text()));

  // 等待整个滚动流程结束,返回全量结果
  const rawMembers = await page.evaluate(() => { 
    const interval = 3000;
    let stop = false;
    document.addEventListener('keypress', () => stop = true);
    let results = [];
    let pageHeight = 0;

    // 返回Promise,等待滚动循环结束
    return new Promise((resolve) => {
      const tick = () => {
        if (stop === false && document.body.scrollHeight > pageHeight) {
          pageHeight = document.body.scrollHeight;
          document.scrollingElement.scrollTop = pageHeight;
          const anchors = Array.from(document.querySelectorAll('a'));
          const serializableLinks = anchors.map(x => x.getAttribute("href"));
          
          // 分块推送到Node侧
          window.onLinksChunk(serializableLinks);
          // 存入全量数组
          results.push(...serializableLinks);

          setTimeout(tick, interval);
        } else {
          clearTimeout();
          console.log('滚动退出');
          resolve(results);
        }
      };
      // 首次执行
      setTimeout(tick, interval);
    });
  });

  console.log('全量抓取结果总链接数:', rawMembers.length);
  // await browser.close();
})();

内容的提问来源于stack exchange,提问作者pinale

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 14:54:06