Python Selenium定位元素成功仍报NoSuchElementException异常

不存在同一次定位操作先成功找到元素、再抛出元素不存在异常的可能，从报错堆栈可以明确判断：你代码里先后两次执行了完全相同的XPath定位逻辑，你观测到的“打印元素、提取href成功”是第一次定位的执行结果，而抛出NoSuchElementException是第二次执行同一段定位代码时的结果，两次执行之间页面状态已经发生变化，具体触发原因包含以下几类：

• 两次定位之间DOM发生动态变更：第一次定位拿到元素后，页面触发了异步重渲染、反爬DOM替换、分页组件状态刷新，原本匹配XPath的a标签被从DOM树中移除，第二次执行查询时自然找不到对应元素。如果你是循环爬取分页，大概率是代码已经跳转到最后一页，网站自动移除了“下一页”按钮，而循环逻辑没有做终止判断，又执行了一次下一页按钮定位。
• 浏览器与驱动版本过旧存在兼容bug：你日志中显示的headless Chrome 65、ChromeDriver 2.37是2018年发布的老旧版本，在AWS Lambda的Linux无头环境下，该版本存在驱动与浏览器DOM状态不同步的已知问题，第一次定位读取的是本地DOM缓存可以返回结果，第二次查询时通信状态异常，会误判元素不存在。
• 页面跳转过程中执行定位：如果你第一次拿到href后触发了页面跳转，但没有等待新页面加载完成就执行了第二次定位，此时浏览器处于旧页面已销毁、新页面未渲染完成的中间状态，也会抛出元素不存在的错误。

• 先清理重复定位逻辑：全局搜索代码中pagination-next相关的XPath调用，删除冗余的重复定位语句，第一次定位拿到button_next元素对象和href属性后直接复用变量即可，不需要重复查询DOM。
• 替换裸调用的定位逻辑，增加显式等待和异常捕获，不要直接无保护调用find_element_by_xpath：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, TimeoutException

try:
    # 最长等待10秒直到元素出现，解决动态渲染的时序问题
    button_next = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//a[@data-at="pagination-next"]'))
    )
    next_url = button_next.get_attribute("href")
except (NoSuchElementException, TimeoutException):
    # 捕获异常说明不存在下一页，直接终止分页逻辑
    next_url = None

• 升级Lambda运行环境中的Chrome和ChromeDriver到100以上的对应稳定版本，解决老旧版本无头模式下的DOM同步bug。
• 如果定位元素后需要触发页面跳转，要等新页面的核心DOM加载完成后再执行后续的元素查询操作，不要在页面跳转的中间状态执行DOM查找。

内容的提问来源于stack exchange，提问作者Max