Selenium/undetected-chromedriver代理数据过度消耗问题求助

高流量消耗的核心原因 #

• 浏览器全资源加载：Chrome非无头模式会完整加载页面所有资源，包括图片、CSS、JS、字体、第三方追踪脚本、广告资源等，而requests仅获取页面HTML（或指定的API响应），两者资源获取范围差异极大，这是流量差距的主要来源。
• 默认配置冗余请求：Selenium启动的Chrome默认会发起后台请求，比如浏览器自动更新检查、同步服务、扩展商店连接等，这些都是额外的流量消耗。
• 无缓存复用：默认每次启动新的Chrome会话，不会复用之前的缓存，每次登录都要重新下载所有页面资源，而requests可以手动管理缓存，减少重复请求。
• 页面加载策略：默认的normal加载策略会等待页面所有资源加载完成，期间会产生大量额外请求，而requests无需等待资源加载。

优化步骤 #

1. 禁用非必要资源加载 #

通过ChromeOptions配置，直接跳过图片、CSS、非必要JS等资源的加载，显著减少流量：

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
# 禁用图片加载
chrome_options.add_argument("--blink-settings=imagesEnabled=false")
# 禁用CSS样式表
chrome_options.add_argument("--disable-stylesheets")
# 禁用第三方Cookie与追踪脚本
chrome_options.add_argument("--disable-third-party-cookies")
chrome_options.add_argument("--disable-features=TrackingProtection,InterestFeedContentSuggestions")
# 若登录流程不需要JS，可禁用（需测试验证）
# chrome_options.add_argument("--disable-javascript")

2. 启用会话缓存复用 #

指定固定的Chrome用户数据目录，让浏览器复用缓存，避免每次启动重复下载资源：

# 替换为你本地的自定义Chrome目录路径
chrome_options.add_argument(r"--user-data-dir=C:\ChromeProfiles\BotProfile")
chrome_options.add_argument("--profile-directory=Default")

3. 关闭后台冗余服务 #

禁用Chrome的自动更新、同步、扩展等后台功能，减少额外请求：

chrome_options.add_argument("--disable-background-networking")
chrome_options.add_argument("--disable-extensions")
chrome_options.add_argument("--disable-sync")
chrome_options.add_argument("--disable-translate")
chrome_options.add_argument("--disable-component-update")

4. 调整页面加载策略 #

使用eager或none加载策略，无需等待页面所有资源加载完成，只等待DOM就绪即可：

# eager：等待DOM加载完成，不等待图片、CSS等资源
chrome_options.page_load_strategy = "eager"
# 或者使用none：立即返回，手动控制元素等待
# chrome_options.page_load_strategy = "none"

5. 测试无头模式 #

虽然你认为无头模式无效，但实际测试显示，无头模式会减少UI渲染相关的流量（比如GPU绘制、界面资源请求），建议对比测试流量消耗差异：

chrome_options.add_argument("--headless=new")  # Chrome 112+的新无头模式

6. 模拟requests的请求范围 #

如果登录和导航可以拆分，先用requests完成登录（获取会话Cookie），再将Cookie注入Selenium的Chrome会话中，仅加载指定页面的核心资源，避免Selenium重复处理登录流程的冗余请求。

内容的提问来源于stack exchange，提问作者Kuzey Güneyoğlu