Selenium执行滚动操作后动态生成表格数据未更新如何解决

你遇到的是虚拟滚动表格的典型加载问题，现有代码有三个核心问题导致滚动不生效、数据不更新：

• 滚动对象错误：大部分表格的滚动监听不是绑定在窗口或表格行上，而是绑定在表格外层的可滚动父容器上，你之前对行元素滚动、发送全局按键的操作都没有触发容器的滚动监听事件
• 滚动时机错误：你每处理一行就触发一次滚动，滚动幅度过小，没有达到页面设定的「滚动到距离底部XX阈值才加载新数据」的触发条件
• 遍历逻辑错误：虚拟滚动会自动回收视口外的行元素，DOM里始终只保留几十条tr，你按行号递增判断tr[row]是否存在的逻辑，等行号超过当前DOM里的最大行号就会直接跳出循环，根本等不到新数据加载

1. 定位正确的滚动容器 #

打开浏览器F12元素面板，选中表格元素后向上逐级查找父节点，找到*computed样式中overflow-y为auto或scroll*的节点，复制它的XPath，这就是你要操作的滚动容器。

2. 改写遍历和滚动逻辑 #

不要用行号递增的方式遍历，改为每次处理当前DOM里的所有tr，处理完后滚动到容器底部，等待新tr加载后再处理下一批，直到没有新数据加载为止。

3. 修复后的代码示例 #

driver.FindElement(By.XPath("//*[@id='jsSearchButton']")).Click();
wait.Until(e => e.FindElement(By.XPath("//*[@id='jsMdiContent']/div/div[2]/div[1]/div[1]/div[2]/div/div/table/tbody")));
// 替换成你自己定位到的滚动容器XPath
IWebElement scrollContainer = driver.FindElement(By.XPath("//*[@id='jsMdiContent']/div/div[2]/div[1]/div[1]/div[2]"));
IJavaScriptExecutor js = (IJavaScriptExecutor)driver;

int lastTrCount = 0;
int currentTrCount = 0;
// 连续2次滚动后tr数量不变，说明已经加载完全部数据
int noNewDataCount = 0;

while (noNewDataCount < 2)
{
    // 每次都重新获取最新的tr列表，不要复用之前的引用
    IWebElement tbody = driver.FindElement(By.XPath("//*[@id='jsMdiContent']/div/div[2]/div[1]/div[1]/div[2]/div/div/table/tbody"));
    IList<IWebElement> trs = tbody.FindElements(By.TagName("tr"));
    currentTrCount = trs.Count;

    // 没有新数据就增加计数，否则重置计数
    if (currentTrCount == lastTrCount)
    {
        noNewDataCount++;
        // 加等待避免网络延迟导致漏判
        Thread.Sleep(500);
        continue;
    }
    noNewDataCount = 0;
    lastTrCount = currentTrCount;

    // 处理当前批次的tr
    for (int i = 0; i < trs.Count; i++)
    {
        try
        {
            IWebElement date = trs[i].FindElement(By.XPath("./td[1]"));
            Log.Normal($"date  : {date.Text} {date.GetAttribute("textContent")}");
            IWebElement PBR = trs[i].FindElement(By.XPath("./td[5]"));
            Log.Normal($"PBR : {PBR.Text} {PBR.GetAttribute("textContent")}");
        }
        catch (StaleElementReferenceException)
        {
            // 虚拟滚动回收了元素，直接跳过即可
            continue;
        }
    }

    // 滚动容器到底部，触发加载
    js.ExecuteScript("arguments[0].scrollTop = arguments[0].scrollHeight", scrollContainer);
    // 等待接口请求和DOM渲染完成，可根据实际网络情况调整时长
    Thread.Sleep(800);
}

• 如果滚动后还是不加载，可以尝试调整滚动位置，适配部分页面的加载阈值：js.ExecuteScript("arguments[0].scrollTop = arguments[0].scrollHeight - arguments[0].clientHeight - 100", scrollContainer);
• 不要复用旧的tr、tbody元素引用，虚拟滚动会频繁更新DOM，复用旧引用大概率会抛出StaleElementReferenceException异常
• 如果站点有反爬机制，滚动操作可以拆分成多次小幅度滚动，模拟真实用户操作，避免被识别为爬虫

内容的提问来源于stack exchange，提问作者user2523112