Python Selenium爬取JS动态刷新无URL变化页面无法定位元素如何解决

你遇到的报错是动态页面异步加载导致的，这种URL不变化的翻页属于前端AJAX局部刷新，点击翻页按钮后页面内容不会立刻完成渲染，你执行定位代码的时机早于新页面元素加载完成的时间，就会找不到元素。

• 第一步：替换固定等待为Selenium显式等待，等新页面目标元素加载完成后再执行定位操作，示例代码如下：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 先执行点击第二页的操作
# 点击后等待目标元素加载完成，最长等待10秒
wait = WebDriverWait(driver, 10)
restaurant = wait.until(EC.presence_of_element_located((By.XPATH, f"(//div[@class='OhCyu'])[{numberxd}]")))

• 第二步：排除属性或索引异常问题。翻页完成后可以先打印当前页面的所有匹配元素数量，验证class属性是否还存在、索引numberxd是否超出实际元素总数：

# 翻页后先输出匹配的元素总数
elements = driver.find_elements(By.XPATH, "//div[@class='OhCyu']")
print(len(elements))

如果输出的数量小于numberxd，说明你的索引参数设置错误，需要调整取值范围。

• 第三步：优化翻页后的等待逻辑，避免拿到旧页面的残留元素。可以先等待第一页的旧元素失效，再等待新元素加载：

# 先记录第一页的旧元素
old_element = driver.find_element(By.XPATH, f"(//div[@class='OhCyu'])[{numberxd}]")
# 执行点击翻页操作
# 等待旧元素失效
wait.until(EC.staleness_of(old_element))
# 再定位新页面的元素
restaurant = wait.until(EC.presence_of_element_located((By.XPATH, f"(//div[@class='OhCyu'])[{numberxd}]")))

内容的提问来源于stack exchange，提问作者Jules Galian