使用undetected-chromedriver滚动页面失效的问题咨询

原因分析 #

• undetected-chromedriver默认启动配置包含反爬优化逻辑，可能禁用部分渲染组件；当浏览器窗口被覆盖或服务器无显示器时，浏览器会触发“无可视化”优化，暂停依赖渲染的交互操作，导致滚动失效。
• send_keys(Keys.PAGE_DOWN)依赖元素焦点和浏览器交互状态，窗口不可见时元素焦点丢失，模拟按键无法触发滚动逻辑。
• 标准Selenium/SeleniumBase的默认启动参数保留了完整的渲染上下文，对无头模式或无显示器环境兼容性更好，因此滚动操作不受影响。

解决方法 #

1. 调整Chrome启动参数，保留必要渲染能力 #

添加新版无头模式、禁用 compositor 优化等参数，让浏览器在无可视化环境下仍保持完整DOM操作能力：

import undetected_chromedriver as uc

options = uc.ChromeOptions()
# 新版无头模式，行为更接近正常浏览器
options.add_argument("--headless=new")
# 禁用GPU依赖，适配服务器无GPU环境
options.add_argument("--disable-gpu")
# 服务器环境必备，规避沙箱限制
options.add_argument("--no-sandbox")
# 固定窗口尺寸，避免滚动逻辑受窗口大小影响
options.add_argument("--start-maximized")
# 禁用 compositor 优化，防止窗口不可见时停止渲染
options.add_argument("--disable-features=VizDisplayCompositor")

driver = uc.Chrome(options=options)

2. 使用纯DOM操作的JS滚动方法 #

放弃依赖渲染状态的滚动方式，直接通过JS操作DOM滚动属性，完全不受窗口可见性影响：

# 向下滚动指定距离（100px）
js_scroll_by = "document.documentElement.scrollTop += 100"
driver.execute_script(js_scroll_by)

# 滚动到页面底部
js_scroll_bottom = "document.documentElement.scrollTop = document.documentElement.scrollHeight"
driver.execute_script(js_scroll_bottom)

# 滚动到指定元素位置
target_elem = driver.find_element(By.TAG_NAME, "footer")
driver.execute_script("arguments[0].scrollIntoView({behavior: 'auto', block: 'center'});", target_elem)

3. 服务器环境使用虚拟显示（可选） #

若需保留可视化渲染逻辑，可安装虚拟显示工具模拟显示器环境，让浏览器认为窗口处于可见状态：

• Linux服务器安装Xvfb：sudo apt-get install xvfb
• 启动虚拟显示并运行脚本：xvfb-run python your_scraping_script.py

内容的提问来源于stack exchange，提问作者user22812256