Laravel中symfony/panther调用waitFor()报TimeoutException如何解决

waitFor() 触发的Facebook\WebDriver\Exception\TimeoutException和PHP的max_execution_time配置、队列超时限制无关，这个异常是ChromeDriver控制浏览器执行等待逻辑时抛出的：默认Panther的waitFor()方法仅等待30秒，且默认要求目标元素在DOM中存在、处于可见状态才会判定等待成功，加上默认的Chrome客户端配置、页面加载策略不合理，很容易出现等待超时。

• 显式配置waitFor()的等待时长，匹配页面实际加载速度
  无参调用waitFor('h1')时默认超时只有30秒，爬取外网、JS逻辑重的站点时这个时长完全不够，直接传入自定义的超时时间和检查间隔即可：

  // 最多等待60秒，每100毫秒检查一次h1是否出现
  $client->waitFor('h1', 60, 100);
  

  如果目标站点会先在DOM中占位h1标签、后续再填充内容（此时元素默认隐藏），可以改用只检查DOM存在、不校验可见性的方法：

  $client->waitForPresenceOf('h1', 60);
  

• 补全Chrome客户端启动参数，解决无头模式下的加载卡住问题
  你当前创建ChromeClient的代码缺少必要的无头模式启动参数，很容易因为沙箱限制、共享内存不足、证书校验、资源加载阻塞导致页面渲染失败，替换为以下配置即可：

  $client = Client::createChromeClient(
      base_path("drivers/chromedriver"),
      null,
      [
          'port' => 9080,
          // 禁用非必要资源加载，大幅提升页面渲染速度
          'prefs' => [
              'profile.default_content_setting_values' => [
                  'images' => 2,
                  'stylesheets' => 2,
                  'fonts' => 2,
              ]
          ]
      ],
      [
          '--headless=new', // 启用新版无头模式，旧版无头存在JS渲染兼容性问题
          '--no-sandbox',
          '--disable-gpu',
          '--disable-dev-shm-usage', // 解决容器/小内存环境下共享内存不足导致的页面崩溃
          '--disable-extensions',
          '--no-first-run',
          '--no-default-browser-check',
          '--ignore-certificate-errors',
      ]
  );
  

• 修改页面加载策略，避免第三方资源阻塞
  默认ChromeDriver会等待页面所有资源（包括广告、第三方统计脚本、外链资源）全部加载完成才执行后续逻辑，很多站点第三方资源加载超时就会导致整体卡住，将加载策略改为eager，只要DOM结构解析完成就开始执行等待逻辑：

  $client = Client::createChromeClient(
      base_path("drivers/chromedriver"),
      null,
      [
          'port' => 9080,
          'capabilities' => [
              \Facebook\WebDriver\Chrome\ChromeOptions::CAPABILITY => [
                  'pageLoadStrategy' => 'eager',
              ]
          ],
          // 上述prefs资源配置保留
      ],
      // 上述启动参数保留
  );
  

• 增加重试逻辑，兼容偶发加载失败
  爬取JS渲染站点时经常遇到网络波动、脚本执行错误等偶发问题，在等待逻辑外层加重试即可，超时后刷新页面重新等待：

  $maxRetryTimes = 3;
  $currentRetry = 0;
  while ($currentRetry < $maxRetryTimes) {
      try {
          $client->waitFor('h1', 30);
          break;
      } catch (\Facebook\WebDriver\Exception\TimeoutException $e) {
          $currentRetry++;
          if ($currentRetry >= $maxRetryTimes) {
              throw $e;
          }
          $client->reload();
      }
  }
  

• 解决端口冲突问题
  你当前写死了9080端口，如果之前执行时残留的chromedriver进程没有正常退出，会导致新启动的浏览器实例无法连接，要么去掉port参数让Panther自动分配空闲端口，要么每次逻辑执行完成后主动关闭客户端释放资源：

  // 业务逻辑执行完成后主动退出浏览器进程
  $client->quit();
  

如果调整完配置还是超时，可以在waitFor()调用前加一行截图代码，直接查看页面实际渲染结果，判断是页面加载慢、选择器写错、还是被站点反爬拦截跳转到了验证页：

file_put_contents(base_path('debug_screenshot.png'), $client->takeScreenshot());

内容的提问来源于stack exchange，提问作者xslibx