如何使用Selenium仅抓取页面滚动前的可见区域内容 无需滚动

实现方案 #

核心思路 #

通过判断元素是否在你需要的抓取范围内，过滤不需要处理的内容即可，无需修改页面的加载逻辑，只要在遍历元素的环节增加判断条件就能实现需求。

具体实现步骤 #

• 第一步：设置停止阈值。如果要精准到DataFrames章节就停止，可先定位到该章节的标题元素，读取它距离页面顶部的偏移值作为终止阈值；如果仅需要抓取初始视口内的所有可见内容，直接读取当前窗口的视口高度作为阈值即可。
• 第二步：遍历元素时，对每个元素调用getBoundingClientRect()方法获取位置信息，只要元素顶部位置超过你设置的阈值，就直接终止遍历。
• 第三步：打印阈值数值，即可明确本次抓取的停止位置。

修改后可运行代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By

EXECUTABLE = r"chromedriver.exe"

url = "https://en.wikipedia.org/wiki/Pandas_(software)"

driver = webdriver.Chrome(executable_path = EXECUTABLE)
driver.maximize_window()
driver.implicitly_wait(30)
driver.get(url)

# 方案1：仅抓取初始视口内内容，用视口高度作为停止阈值
# viewport_height = driver.execute_script("return window.innerHeight")
# stop_position = viewport_height

# 方案2：精准到DataFrames章节停止，优先级更高
dataframes_heading = driver.find_element(By.ID, "DataFrames")
stop_position = driver.execute_script("return arguments[0].offsetTop", dataframes_heading)
print(f"本次抓取停止位置为页面顶部向下{stop_position}px处")

for element in driver.find_elements(By.XPATH, "//*"):
    try:
        # 获取元素顶部距离当前视口顶部的距离
        elem_top = driver.execute_script("return arguments[0].getBoundingClientRect().top", element)
        # 元素超出停止阈值则终止遍历
        if elem_top > stop_position:
            break
        # 此处保留你原有元素处理逻辑
        # stuff
    except:
        continue

driver.close()

注意事项 #

• 示例中使用的find_element(By.xxx, 定位值)是Selenium 4.0+的标准写法，如果你使用的是旧版本Selenium，可以改回你原有代码的find_elements_by_xpath写法。
• getBoundingClientRect().top返回的是元素相对于当前视口顶部的距离，不需要额外计算页面滚动偏移，刚好适配你不滚动页面的需求。

内容的提问来源于stack exchange，提问作者NPD