使用Playwright在AWS Lambda中无法加载网站问题排查

问题场景 #

使用Playwright + Node.js爬取目标站点，本地环境中访问基础URL后会自动重定向到带认证值和nonce的登录页，但部署到AWS Lambda（依赖playwright-aws-lambda包）后，页面停留在空白状态，未触发重定向。调试发现Lambda环境中缺失本地可见的jwks、openid-configuration、app-config等XHR请求，导致后续重定向流程中断。

可能的阻塞原因 #

• Lambda网络访问限制
  Lambda默认运行在AWS公有网络中，其出站IP属于AWS公有IP段，可能被目标站点的WAF、防火墙或反爬策略识别并拦截，导致认证相关的XHR请求无法发送。另外，如果Lambda配置了VPC，需要确保VPC的安全组和路由表允许访问目标站点及相关认证服务的域名/IP。

• 无头Chromium的指纹差异
  playwright-aws-lambda使用的是针对Lambda优化的无头Chromium版本，和本地有头/常规无头模式的浏览器指纹（如用户代理、Canvas指纹、WebGL特征等）存在差异。目标站点可能通过检测无头浏览器特征来阻断机器人请求，导致认证流程无法正常触发。可以尝试手动设置浏览器的用户代理、启用JavaScript、添加模拟真实用户的启动参数（如--disable-blink-features=AutomationControlled）。

• Lambda资源不足
  Lambda默认的内存配置（如128MB）不足以支撑Chromium的正常运行，CPU、内存资源受限会导致页面JavaScript执行缓慢甚至卡死，认证相关的XHR请求无法被触发。建议将Lambda的内存配置调高至512MB或1GB，对应的CPU资源也会按比例提升。

• 环境隔离导致的状态缺失
  本地环境可能保留了之前访问的Cookie、LocalStorage等状态，而Lambda每次执行都是全新的隔离环境，没有任何持久化状态。如果目标站点的重定向流程依赖这些本地状态，就会导致流程中断。可以尝试在Lambda中模拟首次访问的状态，或者检查站点是否需要特定的初始化Cookie才能触发认证重定向。

• 页面等待策略不足
  虽然尝试了waitForLoadState()和waitForURL()，但Lambda环境的网络延迟可能更高，默认的等待逻辑可能没有覆盖到认证流程的全部异步操作。可以尝试：

  • 显式等待特定的DOM元素出现（比如登录按钮、认证相关的脚本标签）
  • 设置更长的超时时间，或者使用waitForResponse()等待特定的认证请求完成
  • 调整页面加载策略为networkidle，确保所有异步请求都完成后再进行下一步

内容的提问来源于stack exchange，提问作者user17991685