使用Puppeteer时await包裹的page.$$eval内部代码完全不执行

核心成因 #

• 选择器匹配结果异常：page.$$eval的执行逻辑是先通过选择器调用document.querySelectorAll获取匹配元素数组，再将数组作为参数传入回调。如果选择器写法错误、页面未完成渲染导致匹配不到元素，或站点反爬导致页面返回空白内容，会出现回调参数为空、执行异常的问题。
• 执行环境完全隔离：$$eval传入的回调会被序列化后，在浏览器的页面上下文内运行，完全不在Node.js调试进程的作用域内。因此你在Node.js IDE中给回调打的断点、设置的调试监听不会生效，调试器也无法直接步入这段代码。回调内部的console.log是输出到浏览器控制台，而非Node.js终端，很容易被误判为代码没有执行。
• 异步Promise未被正常处理：scraper.launch是异步函数，你调用时没有添加await，也没有配置catch捕获执行异常。如果回调执行时抛出运行时错误（比如访问不存在的元素属性、引用了Node.js作用域的闭包变量），相关异常会被静默吞掉，进程表现为卡在当前行无响应。
• 页面等待策略不符合站点特性：page.goto默认在domcontentloaded事件触发时就返回，对于宜家这类依赖前端框架动态渲染的页面，此时核心DOM可能尚未加载完成，导致后续的DOM查询全部失败。直接复制静态站点的示例代码失效，也是因为不同站点的渲染机制、加载时机存在差异，通用示例无法适配动态渲染、带反爬的站点。

分步解决操作 #

• 先验证DOM匹配结果：在执行$$eval前添加调试代码，确认选择器是否能正常匹配到元素：

  const matchedElements = await page.$$('body *');
  console.log('匹配到的DOM元素数量：', matchedElements.length);
  

  如果输出数量为0，说明是选择器或页面加载环节的问题。
• 调整页面等待逻辑：根据目标站点的渲染特性，修改页面加载的等待策略，确保DOM完全渲染后再执行查询：

  // 等待网络空闲最多60秒，确保动态资源加载完成
  await page.goto(url, { waitUntil: 'networkidle2', timeout: 60000 });
  // 额外显式等待核心元素加载完成
  await page.waitForSelector('body', { timeout: 30000 });
  

• 开启浏览器可视化调试定位问题：将puppeteer的无头模式关闭，直接观察页面加载状态，同时打开浏览器开发者工具查看回调的执行日志：

  let browser = await puppeteer.launch({
    headless: false, // 关闭无头模式，显示浏览器窗口
    devtools: true, // 自动打开浏览器开发者工具
    args: ['--disable-blink-features=AutomationControlled'] // 降低被反爬识别的概率
  });
  

  此时你可以在浏览器的控制台直接看到回调内部的console.log输出，也可以直接在浏览器的源代码面板给回调代码打断点调试。
• 补全异常捕获逻辑：避免异步执行的异常被静默吞掉，定位真实的报错信息：

  // 调用launch方法时补全异常捕获
  scraper.launch(url).catch(err => {
    console.error('执行过程出错：', err);
  });
  

• 修正回调写法：确保$$eval的回调函数不引用任何Node.js作用域的外部变量，所有需要传入回调的参数，都作为$$eval的后续参数传递：

  // 错误写法：回调引用了外部作用域的变量，浏览器执行时会报错
  const targetClass = 'product';
  await page.$$eval('body *', (elements) => {
    return elements.filter(el => el.classList.contains(targetClass));
  });
  
  // 正确写法：通过额外参数把外部值传入浏览器上下文
  const targetClass = 'product';
  await page.$$eval('body *', (elements, cls) => {
    return elements.filter(el => el.classList.contains(cls));
  }, targetClass);
  

内容的提问来源于stack exchange，提问作者jm123456