Python Selenium如何实现指定元素内部滚动以解决爬取空白数据问题

假设你使用Selenium实现网页爬取，可按以下步骤修改代码： #

1. 提前定位目标滚动元素 #

在循环外先定位要做内部滚动的元素，避免重复查找消耗性能：

# 需先导入By类，旧版Selenium可直接用find_element_by_xpath方法
from selenium.webdriver.common.by import By

scroll_element = driver.find_element(By.XPATH, '//*[@id="preview-grid-container"]/div[2]')

2. 整合滚动逻辑到现有循环 #

通过执行JS代码操作元素的scrollTop属性，实现指定元素内部滚动，不会触发整个网页滚动，修改后代码如下：

import time
from selenium.webdriver.common.by import By

# 提前定位滚动元素
scroll_element = driver.find_element(By.XPATH, '//*[@id="preview-grid-container"]/div[2]')

while True:
    try:
        ep_data(data_questions, data_answers, question_and_answer_number)
        question_and_answer_number += 1
        # 执行元素内部向下滚动10像素逻辑
        driver.execute_script("arguments[0].scrollTop += 10;", scroll_element)
        # 可选：加短暂等待保证滚动后内容加载完成，避免抓取空白，可根据网络情况调整时长
        time.sleep(0.1)
    except:
        break

补充说明 #

• 核心逻辑是直接操作DOM元素的滚动属性，完全不会影响页面全局滚动条的位置
• 如果滚动后触发了异步内容加载，可适当调整sleep的等待时长，保证内容正常渲染后再抓取

内容的提问来源于stack exchange，提问作者Blobfish