Selenium解析SlickGrid仅获部分数据的问题排查

这是SlickGrid这类虚拟滚动表格的典型问题——它为了性能优化，只会渲染当前视口内（以及少量预加载）的行数据，不在可视区域的行不会被渲染到DOM中。你的代码没处理这个特性，所以只能抓到初始加载的可见行。

先说说你当前代码的问题 #

你的代码逻辑有两个明显的问题：

• 用//*[@id="users_table"]定位整个表格容器后，直接找所有div元素，这会把表头、滚动容器、各种辅助控件的div都混进来，完全不是正确的行数据提取逻辑。
• 没有处理虚拟滚动：SlickGrid不会一次性把所有行都渲染出来，只有当你滚动到对应位置时，才会加载并渲染新的行，你的代码只抓取了页面初始加载时的可见行。

解决方案：模拟滚动加载所有行，再提取数据 #

下面是修正后的代码，核心思路是循环滚动表格的滚动容器，直到所有行都被渲染出来，再统一提取数据：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 初始化浏览器，完成登录操作（你的登录代码放在这里）
driver = webdriver.Chrome()
# driver.get("你的登录页面URL")
# ... 登录步骤 ...

# 定位到SlickGrid的滚动容器（带slick-viewport类的div）
viewport = driver.find_element(By.CLASS_NAME, "slick-viewport")
last_row_count = 0

# 循环滚动加载所有行
while True:
    # 等待所有已渲染的行加载完成
    rows = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CLASS_NAME, "slick-row"))
    )
    current_row_count = len(rows)
    
    # 如果行数不再增加，说明所有行都已加载
    if current_row_count == last_row_count:
        break
    
    last_row_count = current_row_count
    
    # 滚动到滚动容器的底部，触发新行加载
    driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", viewport)
    # 等待页面加载新行，根据实际加载速度调整时间
    time.sleep(1)

# 提取所有行的单元格数据
for row in rows:
    cells = row.find_elements(By.CLASS_NAME, "slick-cell")
    row_data = [cell.text for cell in cells]
    print(row_data)

driver.quit()

更高效的方案：直接通过JavaScript获取原始数据 #

SlickGrid的数据通常会存储在JavaScript对象中，如果你能找到表格的实例，直接通过JS提取数据会比模拟滚动高效得多。比如查看页面的源码，找到初始化SlickGrid的代码（通常类似var grid = new Slick.Grid("#users_table", data, columns, options);），然后用下面的代码直接获取所有数据：

# 假设页面中SlickGrid的实例名为grid，直接获取所有原始数据
all_table_data = driver.execute_script("return grid.getData();")
for row in all_table_data:
    print(row)

这个方法不需要滚动，直接拿到表格的完整数据集，是最优解，但前提是你能确定页面中SlickGrid实例的变量名。

内容的提问来源于stack exchange，提问作者10101