Selenium Python：如何在网页指定元素内滚动加载内容

问题背景 #

需要实现指定元素内的滚动操作，直到该元素内的profile结果加载至100条（网页默认仅加载30条）。已通过len(driver.find_elements(By.XPATH, "//div[@class='virtual-box']"))统计结果数量，但尝试多种滚动方法均无效：

• 全局滚动：driver.execute_script("window.scrollTo(0,1080);")、driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")（无法针对指定元素）
• 滚动到单个元素：ActionChains(driver).scroll_to_element(element).perform()（滚动到最后一条profile未触发加载）
• 模拟鼠标滚动：pywin32的win32api.mouse_event(MOUSEEVENTF_WHEEL, -300, 0)（无效果）

现有核心逻辑代码：

max_prof = len(driver.find_elements(By.XPATH, "//div[@class='virtual-box']"))
new_max_prof = max_prof

while new_max_prof > max_prof or max_prof < 100:
    scroll_and_wait()
    if max_prof != new_max_prof:
        max_prof = new_max_prof

未实现有效滚动的scroll_and_wait函数：

def scroll_and_wait():
    global profile_xpath
    global new_max_prof
    global max_prof
    print('scrolling!')

    temp_xpath = profile_xpath + str(max_prof) + ']'
    element = driver.find_element(By.XPATH, temp_xpath)
    ActionChains(driver).scroll_to_element(element).perform()
    element.click()

    print('did the scroll!!!')
    time.sleep(5)

    new_max_prof = len(driver.find_elements(By.XPATH, "//div[@class='virtual-box']"))
    print('new max prof is: ' + str(new_max_prof))
    time.sleep(4)

有效解决方案：针对指定元素执行JavaScript滚动 #

核心是直接操作目标滚动容器的scrollTop属性，结合显式等待判断加载状态，具体实现如下：

修改后的scroll_and_wait函数 #

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

def scroll_and_wait():
    global max_prof, new_max_prof
    print('scrolling!')

    # 1. 定位滚动容器（替换成你的滚动容器定位器，比如XPath/CSS）
    # 示例：假设滚动容器是class为"scroll-container"的div
    scroll_container = driver.find_element(By.CSS_SELECTOR, "div.scroll-container")

    # 2. 执行JS在容器内滚动（每次滚动500px，可根据页面调整）
    driver.execute_script("arguments[0].scrollTop += 500;", scroll_container)

    # 3. 显式等待新元素加载（最多等待10秒）
    try:
        WebDriverWait(driver, 10).until(
            lambda d: len(d.find_elements(By.XPATH, "//div[@class='virtual-box']")) > max_prof or len(d.find_elements(By.XPATH, "//div[@class='virtual-box']")) >= 100
        )
    except TimeoutException:
        print("No more profiles loaded or timeout reached")

    # 更新profile数量
    new_max_prof = len(driver.find_elements(By.XPATH, "//div[@class='virtual-box']"))
    print(f'new max prof is: {new_max_prof}')

优化后的循环逻辑 #

max_prof = len(driver.find_elements(By.XPATH, "//div[@class='virtual-box']"))
target_count = 100

while max_prof < target_count:
    scroll_and_wait()
    if new_max_prof > max_prof:
        max_prof = new_max_prof
    else:
        print("No more profiles to load, exiting loop")
        break

关键说明 #

• 滚动容器定位：必须找到带有overflow: auto或overflow: scroll样式的父容器（可通过浏览器开发者工具检查元素样式确认），这是元素内滚动的核心前提。
• 滚动距离调整：scrollTop += 500中的数值可根据profile高度调整，确保每次滚动触发加载阈值；也可直接滚动到容器底部：driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight;", scroll_container)。
• 显式等待替代sleep：避免固定等待的低效问题，精准判断新元素是否加载完成。

内容的提问来源于stack exchange，提问作者lukeprofits