使用C# Selenium与Browserless.io滚动到底部仍无法加载懒加载图片

1. 无头模式视口尺寸限制 #

默认无头Chrome的视口仅为800x600，路透社的懒加载图片触发逻辑依赖元素进入可见视口，直接滚动到底部时，大量图片仍处于视口外，不会触发加载。需显式设置符合常规浏览的视口尺寸：

// 在ChromeOptions中添加
options.AddArgument("--window-size=1920,1080");

2. 滚动方式过于激进 #

当前脚本直接跳转到页面底部，而网站懒加载逻辑通常适配渐进式滚动（模拟用户缓慢滚动的行为），瞬间跳转无法触发所有图片的加载逻辑。修改滚动方法为分段滚动：

private static void ScrollToBottom(IWebDriver driver)
{
    var js = (IJavaScriptExecutor)driver;
    long viewportHeight = (long)js.ExecuteScript("return window.innerHeight;");
    long currentScroll = 0;
    long scrollHeight = (long)js.ExecuteScript("return document.body.scrollHeight;");

    while (currentScroll < scrollHeight)
    {
        // 每次滚动一个视口高度，模拟用户滚动行为
        currentScroll += viewportHeight;
        js.ExecuteScript($"window.scrollTo(0, {currentScroll});");
        // 给页面足够时间加载新内容
        Thread.Sleep(800);
        // 更新滚动高度（滚动后可能加载了新内容，页面高度会变化）
        scrollHeight = (long)js.ExecuteScript("return document.body.scrollHeight;");
    }
}

3. 缺少图片加载的针对性等待 #

Thread.Sleep是固定时长等待，无法确保图片实际完成加载。可添加逻辑，等待懒加载图片的资源地址从占位符更新为实际URL：

private static void WaitForLazyImages(IWebDriver driver)
{
    var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(15));
    // 等待所有带有data-src属性的懒加载图片，src属性已替换为实际地址
    wait.Until(d => 
        d.FindElements(By.CssSelector("img[data-src]")).All(img => 
            !string.IsNullOrEmpty(img.GetAttribute("src")) && !img.GetAttribute("src").StartsWith("data:")
        )
    );
}

在ScrollToBottom方法执行完成后，调用此方法确保图片加载完成。

4. 无头浏览器特征检测规避 #

部分网站会识别无头浏览器并限制懒加载逻辑，可添加模拟常规浏览器的用户代理：

options.AddArgument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");

内容的提问来源于stack exchange，提问作者YodasMyDad