Selenium滚动页面后链接数量未更新，求排查问题

你的代码主要存在以下几个问题，导致无法获取到滚动后加载的完整链接列表：

1. 驱动实例混用 #

代码中同时使用了driver和self.driver两个不同的驱动实例引用：

html = driver.find_element(By.TAG_NAME, 'html')  # 局部driver实例
html.send_keys(Keys.END)
full_items_list_temp = self.driver.find_elements(...)  # 类实例的driver

这意味着你在一个浏览器实例里执行了滚动操作，却在另一个实例里获取元素，自然看不到滚动后的新内容。必须统一使用self.driver（如果这是类方法的场景）。

2. 滚动后无等待，元素未完成渲染 #

滚动触发懒加载后直接调用find_elements，此时新元素还没来得及渲染，获取到的元素数量仍是旧值，导致循环提前终止。需要添加显式等待，确保新内容加载完成后再进行判断。

3. 变量拼写错误 #

lenght = 0 应为 length = 0，虽不直接影响功能，但属于代码不严谨问题。

4. 滚动终止条件不够健壮 #

仅通过元素数量是否变化判断是否到底，容易因网络波动或渲染延迟误判。可以结合滚动逻辑和等待机制优化终止条件。

修正后的代码 #

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化变量，修正拼写错误
length = 0
last_length = 0

# 滚动逻辑优化：分段滚动+等待新元素加载
while True:
    # 统一使用self.driver执行所有操作
    html = self.driver.find_element(By.TAG_NAME, 'html')
    html.send_keys(Keys.PAGE_DOWN)  # 分段滚动，更适配懒加载触发逻辑
    
    # 等待新元素加载，最多等待3秒
    try:
        WebDriverWait(self.driver, 3).until(
            lambda d: len(d.find_elements(By.XPATH, '//a[contains(@href, "/item/")]')) > last_length
        )
    except:
        # 超时后滚动到底部，再次确认无新元素则退出循环
        html.send_keys(Keys.END)
        current_count = len(self.driver.find_elements(By.XPATH, '//a[contains(@href, "/item/")]'))
        if current_count == last_length:
            break
    
    # 更新元素计数
    current_count = len(self.driver.find_elements(By.XPATH, '//a[contains(@href, "/item/")]'))
    last_length = current_count

# 最终获取所有链接
full_items_list = self.driver.find_elements(By.XPATH, '//a[contains(@href, "/item/")]')
for item in full_items_list:
    try:
        link = item.get_attribute('href')
        print(link)
    except Exception as e:
        print(f"获取链接失败: {e}")

关键修改说明 #

• 统一使用self.driver，确保所有操作在同一个浏览器实例执行；
• 改用PAGE_DOWN分段滚动，更适配大多数网站的懒加载触发逻辑；
• 添加WebDriverWait显式等待，确保新元素渲染完成后再进行计数判断；
• 优化终止逻辑：超时后滚动到底部再次确认无新元素才退出，减少误判；
• 保留异常捕获并添加具体错误信息，便于排查问题。

内容的提问来源于stack exchange，提问作者Mévatlavé Kraspek