Puppeteer页面滚动到底部失效，求问题排查与修复方案

你的代码存在几个关键问题： #

• 未声明变量导致全局污染：previousHeight没有用let/const声明，会变成全局变量，循环中可能出现意外的数值覆盖，直接导致高度对比逻辑失效。
• 等待函数的静态值拼接问题：page.waitForFunction(\document.body.scrollHeight > ${previousHeight}`)会把previousHeight的值直接拼进字符串，页面异步加载内容时这个值是静态的，无法正确响应动态变化；而且像YouTube这类网站，滚动高度计算应该用document.documentElement.scrollHeight而非document.body.scrollHeight`。
• 无终止的无限循环：while(true)没有退出条件，哪怕滚动到页面底部，代码仍会持续执行，最终触发超时错误。
• 等待逻辑不完善：单纯等待高度变化不适用YouTube的加载机制，YouTube滚动后需要等待新的视频卡片元素加载完成，而非仅依赖高度数值变化。

修复后的代码： #

const puppeteer = require('puppeteer');

const scrapeInfiniteScrollItems = async(page) => {
  let previousHeight;
  // 设置最大重试次数，避免无限循环
  let retryCount = 0;
  const maxRetries = 3;

  while (retryCount < maxRetries) {
    // 使用document.documentElement获取更准确的滚动高度
    previousHeight = await page.evaluate(() => document.documentElement.scrollHeight);
    // 滚动到底部
    await page.evaluate(() => window.scrollTo(0, document.documentElement.scrollHeight));
    
    try {
      // 等待高度变化，设置超时时间，超时说明已到底部
      await page.waitForFunction(
        (prevHeight) => document.documentElement.scrollHeight > prevHeight,
        { timeout: 5000 },
        previousHeight
      );
      // 等待新内容加载完成
      await page.waitForTimeout(1000);
      // 重置重试次数
      retryCount = 0;
    } catch (e) {
      // 超时则增加重试次数，尝试再次滚动（避免偶然加载延迟）
      retryCount++;
      console.log('已尝试滚动，未检测到高度变化，重试次数：', retryCount);
    }
  }
  console.log('已滚动至页面底部');
}

(async() => {
  const browser = await puppeteer.launch({
    headless: false
  });
  const page = await browser.newPage();
  await page.goto('https://www.youtube.com', {
    waitUntil: 'networkidle2',
  });

  await scrapeInfiniteScrollItems(page);
  // 可在此处添加后续处理逻辑，比如关闭浏览器
  // await browser.close();
})();

关键优化点： #

• 变量声明：用let声明previousHeight，避免全局变量污染。
• 滚动高度准确性：改用document.documentElement.scrollHeight，适配大多数现代网站的布局结构。
• 终止条件：设置maxRetries最大重试次数，当连续多次未检测到高度变化时，判定为已滚动到底部，退出循环。
• 安全的等待函数：page.waitForFunction通过传递参数的方式动态对比高度，而非静态字符串拼接，同时设置超时时间，避免无限等待。
• 加载等待：结合waitForTimeout给页面足够的时间加载新内容，适配YouTube的异步加载机制。

内容的提问来源于stack exchange，提问作者seriously