如何使用Selenium C#结合JavaScript实现带延迟滚动到底部适配懒加载场景

现有代码问题分析 #

• 一次性滚动到页面最底部的逻辑不符合多数懒加载组件的触发规则：大部分懒加载监听的是元素是否进入视口附近（通常是视口下方100-500px范围），直接跳到底部会导致待加载元素刚好没进入触发阈值，无法触发加载请求
• behavior: 'smooth' 是异步滚动，滚动完成的时间不固定，硬写2秒等待很容易出现滚动未完成就去对比页面内容，导致误判
• 全量对比PageSource的逻辑容错性极低，页面内的动态元素（比如时间戳、广告刷新、统计参数）会被误识别为懒加载内容更新
• 固定向上回滚250px的逻辑没有适配页面实际的懒加载阈值，容易出现无效回滚

优化后实现代码 #

首先修改ScrollToBottom方法，改为分步滚动，适配懒加载触发规则：

public static void ScrollToBottom(this IWebDriver Driver, int step = 500, int waitMsPerStep = 300)
{
    long lastHeight = 0;
    long currentHeight = (long)Driver.ExecuteJavaScript("return document.body.scrollHeight");
    // 分步滚动，每次滚动一个步长，保证触发懒加载
    while (lastHeight < currentHeight)
    {
        lastHeight = currentHeight;
        Driver.ExecuteJavaScript($"window.scrollBy(0, {step})");
        // 等待滚动完成+懒加载请求触发
        Thread.Sleep(waitMsPerStep);
        currentHeight = (long)Driver.ExecuteJavaScript("return document.body.scrollHeight");
    }
    // 最后确保滚动到最底部
    Driver.ExecuteJavaScript("window.scrollTo(0, document.body.scrollHeight)");
    Thread.Sleep(waitMsPerStep);
}

然后修改ScrollUntilNoLazyLoad方法，优化内容判断逻辑，减少误判：

public static void ScrollUntilNoLazyLoad(this IWebDriver Driver, string locator = null, int maxRetry = 5)
{
    int retryCount = 0;
    long lastContentHeight = 0;
    while (retryCount < maxRetry)
    {
        // 滚动到底部
        Driver.ScrollToBottom();
        // 计算当前页面内容高度，比全量对比PageSource更可靠
        long currentHeight = (long)Driver.ExecuteJavaScript("return document.body.scrollHeight");
        
        // 如果指定了目标定位符，优先判断目标元素是否出现
        if (!string.IsNullOrEmpty(locator))
        {
            var targetElement = Driver.TryFind(locator, IWebElementState.Displayed, 1000);
            if (targetElement != null)
            {
                // 滚动到目标元素位置，方便后续操作
                Driver.ExecuteJavaScript("arguments[0].scrollIntoView({behavior: 'smooth', block: 'center'})", targetElement);
                return;
            }
        }
        
        // 高度没有变化，说明没有新内容加载，退出循环
        if (currentHeight == lastContentHeight)
        {
            retryCount++;
        }
        else
        {
            retryCount = 0;
            lastContentHeight = currentHeight;
        }
        Thread.Sleep(500);
    }
    
    // 循环结束还没找到目标元素才抛出异常
    if (!string.IsNullOrEmpty(locator))
    {
        throw new ArgumentException("等待超时，目标元素未加载显示");
    }
}

注意事项 #

• 如果页面滚动容器不是body，需要把代码里的document.body替换为对应滚动容器的选择器，比如document.querySelector('.content-container')
• 步长和等待时间可以根据页面实际加载速度调整，页面内容越大步长可以适当调大
• 新增的maxRetry参数可以避免页面一直有动态内容导致的死循环

内容的提问来源于stack exchange，提问作者QA_A