Selenium中window.scrollTo/scrollBy滚动页面到底部失效原因是什么？

核心失效原因 #

• 绝大多数现代网页不再使用window/document.body作为全局滚动容器，很多页面会给内层div设置overflow-y: auto/scroll承载滚动内容，此时调用window.scrollTo()/window.scrollBy()本质是操作无滚动权限的根节点，自然不会触发滚动效果。
• 标准W3C模式下，页面的实际滚动根节点是document.documentElement（即<html>标签）而非document.body，直接读取document.body.scrollHeight会拿到错误的高度值（通常等于可视区高度甚至0），传入滚动方法后自然无法到达真实底部。
• 若页面存在图片、列表懒加载逻辑，页面加载初期scrollHeight只是首屏内容高度，代码执行后滚动到的是首屏底部，后续内容加载完成后视觉上就会呈现“滚动没生效”的效果。
• 你之前用的scrollIntoView()能正常生效，是因为这个API会自动向上遍历元素的父级链，找到真实承载滚动的容器再执行滚动，不需要手动指定滚动根，所以不受容器类型影响，但必须依赖已定位到的具体页面元素。

无元素依赖的通用滚动到底实现 #

直接执行以下封装好的JS代码即可，不需要提前定位任何页面元素，会自动识别页面真实滚动容器：

# 自动识别滚动根、滚动到容器底部的JS脚本
scroll_bottom_script = """
// 查找页面真实滚动容器
function getRealScrollRoot() {
    const htmlEl = document.documentElement;
    const bodyEl = document.body;
    // 优先校验html、body是否为滚动容器
    if (htmlEl.scrollHeight > htmlEl.clientHeight) return htmlEl;
    if (bodyEl.scrollHeight > bodyEl.clientHeight) return bodyEl;
    // 遍历所有元素找内层滚动容器
    const allEls = document.querySelectorAll('*');
    for (let el of allEls) {
        const yOverflow = getComputedStyle(el).overflowY;
        if ((yOverflow === 'auto' || yOverflow === 'scroll') && el.scrollHeight > el.clientHeight) {
            return el;
        }
    }
    return window;
}
const scrollRoot = getRealScrollRoot();
// 执行无动画滚动，避免平滑滚动导致的等待超时
scrollRoot.scrollTo({
    top: scrollRoot.scrollHeight,
    behavior: 'instant'
});
// 返回当前滚动高度、总内容高度供校验
return [scrollRoot.scrollTop, scrollRoot.scrollHeight];
"""

# 单次滚动到底
current_top, total_height = browser.execute_script(scroll_bottom_script)

懒加载页面适配 #

如果页面是滚动触发加载的懒加载类型，需要循环执行滚动直到内容高度不再变化，才算真正到达页面底部：

import time
last_content_height = 0
# 设置最大重试次数避免死循环
max_scroll_retry = 20
retry_count = 0

while retry_count < max_scroll_retry:
    current_top, total_height = browser.execute_script(scroll_bottom_script)
    # 高度不再变化说明已经到最底部
    if total_height == last_content_height:
        break
    last_content_height = total_height
    retry_count += 1
    # 等待懒加载内容渲染完成，可根据页面加载速度调整等待时长
    time.sleep(1)

内容的提问来源于stack exchange，提问作者Alex