如何优化Python+Selenium多页面爬虫？重复初始化Firefox致速度慢

嘿，这个问题我太有共鸣了——重复初始化Firefox实例绝对是拖慢你爬虫速度的核心原因！每次启动浏览器都要加载整个内核、配置和插件，20秒的耗时基本都耗在这上面了。下面给你几个立竿见影的优化方案，按优先级来：

把浏览器的初始化逻辑移到所有爬取任务外面，整个爬虫生命周期只启动一次浏览器，爬完所有页面再关闭。这能直接砍掉重复启动浏览器的巨大开销：

from selenium import webdriver

# 只在爬虫启动时初始化一次浏览器
browser = webdriver.Firefox()

def crawl_single_page(url):
    browser.get(url)
    # 这里写你的页面解析、数据提取逻辑...
    # 比如获取页面源码、定位元素等

try:
    # 遍历你要爬的所有页面URL
    for page_url in your_target_url_list:
        crawl_single_page(page_url)
finally:
    # 所有任务完成后再关闭浏览器
    browser.quit()

如果爬取过程不需要看到浏览器窗口，开启无头模式能减少浏览器的资源占用，进一步提升速度：

from selenium.webdriver.firefox.options import Options

# 配置无头模式
firefox_options = Options()
firefox_options.add_argument("--headless")  # 启用无头模式
firefox_options.add_argument("--disable-gpu")  # 禁用GPU加速，避免部分环境出现兼容性问题
firefox_options.add_argument("--no-sandbox")  # 禁用沙箱，提升性能（Linux环境建议添加）

# 用配置好的选项初始化浏览器
browser = webdriver.Firefox(options=firefox_options)

很多页面的图片、CSS、广告脚本对爬取数据毫无帮助，禁用它们能大幅减少页面加载时间：

# 在初始化options时添加这些偏好设置
firefox_options.set_preference("permissions.default.image", 2)  # 禁止加载所有图片
firefox_options.set_preference("dom.disable_open_during_load", True)  # 禁止页面加载时弹出新窗口
firefox_options.set_preference("browser.cache.disk.enable", False)  # 禁用磁盘缓存（根据需求选择，若需要缓存可设为True）
firefox_options.set_preference("javascript.enabled", False)  # 如果页面数据不需要JS渲染，可禁用JS（谨慎使用）

避免使用全局的隐式等待（browser.implicitly_wait(10)），改用显式等待精准控制元素加载的等待时间，减少不必要的等待：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 等待目标元素出现，最多等待5秒（可根据页面实际情况调整）
target_element = WebDriverWait(browser, 5).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".your-target-selector"))
)

如果你的爬取任务量极大，可以考虑用多线程复用多个浏览器实例，但注意不要过度并发——一方面会消耗大量系统资源，另一方面容易被目标网站识别为爬虫而封禁IP。

内容的提问来源于stack exchange，提问作者Florian Pasquereau