AWS Lambda运行Selenium报NoSuchElementException且XPath有效如何解决

排查及解决步骤 #

• 先确认页面实际加载内容
  本地和Lambda的网络环境完全不同，第三方站点可能对Lambda出口IP做了反爬限制、返回验证码页、或者直接拦截请求。在driver.get(website.link)之后添加一行日志输出完整页面源码：

  logging.info(driver.page_source)
  

  到CloudWatch查看返回的源码里是否存在你要定位的元素，排除页面根本没有加载到目标内容的情况，比盲目调整等待时间效率高很多。
• 检查Selenium驱动配置差异
  确认Lambda上的Chrome/Chromedriver版本和本地测试环境一致，版本差异可能导致定位逻辑异常。另外补充无头模式的反检测参数，避免站点识别到自动化工具返回异常页面：

  options.add_argument('--headless=new')
  options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
  options.add_argument('--disable-blink-features=AutomationControlled')
  options.add_experimental_option("excludeSwitches", ["enable-automation"])
  options.add_experimental_option('useAutomationExtension', False)
  

  如果目标元素在Shadow DOM中，普通XPath无法直接定位，需要通过execute_script穿透Shadow DOM查找元素。
• 核对Lambda网络配置
  即使你认为Terraform修改的SSM权限和问题无关，也要确认修改时是否误调整了Lambda的VPC配置：如果Lambda被加入VPC但没有配置NAT网关，会无法访问公网，自然加载不出第三方页面。可以加一段简单的requests测试代码验证网络连通性：

  import requests
  res = requests.get(website.link)
  logging.info(f"请求状态码：{res.status_code}，返回内容前1000字符：{res.text[:1000]}")
  

• 优化XPath写法
  不要使用依赖元素层级的绝对路径XPath，尽量改用相对路径加文本匹配的写法，降低第三方页面微调布局导致定位失效的概率，比如：

  //*[contains(text(),'目标文本的固定片段')]
  

• 调整Lambda超时配置
  Lambda默认执行超时时间为3秒，如果你增加了等待时长但没有调整函数超时设置，会出现还没等元素加载完成函数就被终止的情况，先把超时时间调到30秒以上再测试。

内容的提问来源于stack exchange，提问作者wideawake