使用puphpeteer时出现CdpPage.querySelectorAll is not a function错误求助

可能的原因及对应解决方案 #

• 未使用异步等待（await）：puphpeteer的核心方法（如goto、waitForNetworkIdle、querySelectorAll）均为异步操作，必须通过await关键字等待执行完成。如果省略await，你获取到的是Promise对象而非实际的DOM元素集合，这会直接导致解析报错。
  修正后的代码：

  $puppeteer = new Puppeteer;
  $browser = await $puppeteer->launch();
  $viewport = ['width'=>1920, 'height'=>1080];
  
  $page = await $browser->newPage();
  await $page->setViewport($viewport);
  await $page->goto('https://www.carrefour.com.ar/arroz?_q=arroz&map=ft');
  await $page->waitForNetworkIdle();
  $divs = await $page->querySelectorAll('div');
  
  await $browser->close();
  

• 页面动态内容未完全渲染：waitForNetworkIdle仅等待网络请求停止，但电商网站多依赖前端框架动态生成DOM，可能网络空闲时页面内容仍未渲染完成。可替换为等待页面中关键元素加载，确保DOM就绪：

  // 示例：等待商品列表容器加载（需根据实际页面结构调整选择器）
  await $page->waitForSelector('div[data-testid="product-container"]');
  $divs = await $page->querySelectorAll('div');
  

• 网站反爬限制：部分电商网站会检测非真实浏览器的访问，阻止DOM操作。可通过配置浏览器参数模拟真实访问环境：

  $browser = await $puppeteer->launch([
      'headless' => true,
      'args' => [
          '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
          '--disable-blink-features=AutomationControlled'
      ]
  ]);
  

内容的提问来源于stack exchange，提问作者Franco Lago