使用Selenium抓取动态加载表格的实现方案求助

这类动态加载的表格，核心是监听自身滚动事件触发新内容加载，我们需要定位表格（或其滚动容器），持续滚动直到没有新内容出现，再提取全部数据。

完整代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 初始化Chrome浏览器（需确保ChromeDriver版本与浏览器匹配）
driver = webdriver.Chrome()
driver.get("你的目标网站URL")

# 1. 定位带滚动条的表格/容器（替换为你实际的选择器，比如id、xpath）
scroll_container = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, "//div[@class='table-container']"))
)

# 2. 循环滚动加载所有内容
last_content_count = 0
max_attempts = 5  # 防止无限循环，可根据需求调整
attempts = 0

while attempts < max_attempts:
    # 获取当前已加载的内容数量（这里以表格行为例，根据实际结构调整）
    current_rows = scroll_container.find_elements(By.TAG_NAME, "tr")
    current_count = len(current_rows)
    
    # 内容不再增加，说明加载完成
    if current_count == last_content_count:
        attempts += 1
    else:
        attempts = 0  # 重置尝试次数
        last_content_count = current_count
    
    # 用JavaScript滚动容器到底部（稳定可靠，不受鼠标位置影响）
    driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scroll_container)
    
    # 等待内容加载（可替换为显式等待，比如等待新行出现）
    time.sleep(2)

# 3. 提取全部表格内容
all_rows = scroll_container.find_elements(By.TAG_NAME, "tr")
for idx, row in enumerate(all_rows):
    cells = row.find_elements(By.TAG_NAME, "td")
    row_data = [cell.text.strip() for cell in cells]
    print(f"第{idx+1}行: {row_data}")

# 关闭浏览器
driver.quit()

关键细节说明 #

• 定位滚动容器：很多网站的表格嵌套在带overflow: auto的div容器里，滚动条属于这个div而非table标签，必须定位正确的容器才能触发加载。
• 滚动方式：优先用JavaScript操作scrollTop，兼容性更强；如果网站必须依赖鼠标滚轮事件，可替换为ActionChains模拟：

  from selenium.webdriver.common.action_chains import ActionChains
  ActionChains(driver).move_to_element(scroll_container).scroll_by_amount(0, 800).perform()
  

• 终止条件：用“内容数量不再增加”判断加载完成，同时加max_attempts防止无限循环（比如网站加载异常时）。也可以用容器的滚动高度判断：

  def is_scrolled_to_bottom(element):
      return driver.execute_script("return arguments[0].scrollTop + arguments[0].clientHeight >= arguments[0].scrollHeight", element)
  

• 等待策略：固定sleep适合新手调试，生产环境建议用显式等待，比如等待新的表格行出现：

  WebDriverWait(driver, 5).until(lambda d: len(scroll_container.find_elements(By.TAG_NAME, "tr")) > last_content_count)
  

常见问题排查 #

• 滚动后无新内容：检查是否定位到了正确的滚动容器，可通过浏览器开发者工具查看元素的scrollHeight、scrollTop属性确认。
• 内容重复加载：部分网站会重复加载底部内容，可通过对比行内容的哈希值，跳过重复数据。

内容的提问来源于stack exchange，提问作者Bhawesh Kumar Singh