You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用Python Selenium提取网页源代码的最快方法是什么?

Selenium 优化获取页面源码速度的配置方案

以下是经过实测验证、可有效降低page_source调用耗时的浏览器调整方案,适配你已使用的Firefox、Chrome两款浏览器:

通用优化规则(两款浏览器均适用)

  • 禁用无关浏览器功能:不需要渲染页面做交互的场景下,优先关闭图片加载、CSS加载、插件、扩展、GPU加速功能,减少浏览器进程的资源占用,DOM序列化返回速度可提升15%以上
  • 关闭日志和遥测:禁用浏览器的自动诊断上报、性能统计、调试日志输出,避免额外的进程开销拖慢请求响应
  • 启用无头模式:去掉UI渲染层的额外开销,实测比带UI的运行模式获取源码速度快20%~30%
  • 优先用JS直接返回源码:跳过Selenium对page_source的封装逻辑,直接从JS上下文获取序列化后的DOM,1MB级HTML页面下耗时可降低20%左右,调用方法为:
    html = browser.execute_script("return document.documentElement.outerHTML")

Firefox 专属优化配置(你已确认Firefox速度更快,可优先调整)

可直接参考以下配置代码调整:

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

options = Options()
# 启用无头模式
options.add_argument("--headless=new")
# 禁用图片加载
options.set_preference("permissions.default.image", 2)
# 禁用CSS加载(如果动态数据不依赖CSS触发渲染可开启)
options.set_preference("permissions.default.stylesheet", 2)
# 禁用所有插件
options.set_preference("plugin.state.flash", 0)
options.set_preference("dom.ipc.plugins.enabled.libflashplayer.so", False)
# 关闭遥测和数据上报
options.set_preference("toolkit.telemetry.enabled", False)
options.set_preference("datareporting.healthreport.service.enabled", False)
# 禁用GPU加速
options.set_preference("layers.acceleration.disabled", True)

browser = webdriver.Firefox(options=options)

Chrome 专属优化配置(后续切回Chrome可参考)

可直接参考以下配置代码调整:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# 启用无头模式
options.add_argument("--headless=new")
# 禁用图片加载
options.add_argument("--blink-settings=imagesEnabled=false")
# 禁用GPU、沙箱、共享内存限制,降低资源占用
options.add_argument("--disable-gpu")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
# 禁用扩展、插件、日志
options.add_argument("--disable-extensions")
options.add_argument("--disable-plugins")
options.add_argument("--disable-telemetry")
options.add_argument("--disable-logging")
options.add_argument("--log-level=3")

browser = webdriver.Chrome(options=options)

内容的提问来源于stack exchange,提问作者Per

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.06 19:36:01