undetected_chromedriver运行缓慢及重复安装问题求助

一、解决UC每次启动重复安装驱动的问题 #

1. 核心原因 #

你开头通过ChromeDriverManager().install()安装了标准ChromeDriver，这会干扰undetected_chromedriver（UC）的驱动校验逻辑：UC启动时会检测系统中已有的驱动版本，若与它适配的Chrome版本不匹配，就会触发重新下载流程。另外，start_uc函数每次新建ChromeOptions却未指定已有驱动路径，进一步加剧了重复安装的问题。

2. 修复方法 #

修改start_uc函数，手动传递提前安装好的驱动路径给UC，避免重复下载：

from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
import undetected_chromedriver as uc

# 全局仅执行一次驱动安装，获取固定路径
global_chrome_driver_path = ChromeDriverManager().install()

def start_uc():
    options = webdriver.ChromeOptions()
    options.add_argument('--no-first-run --no-service-autorun --password-store=basic')
    # 启用UC专属无头模式（更难被反爬检测，同时提升速度）
    options.add_argument('--headless=new')
    # 指定已安装的驱动路径，强制UC复用
    driver = uc.Chrome(options=options, service=Service(global_chrome_driver_path))
    driver.minimize_window()
    return driver

二、UC速度优化建议 #

1. 启用UC专属无头模式 #

使用--headless=new参数（Chrome 112+支持）替代标准的headless=True，该模式既难被反爬系统识别，又能降低浏览器资源占用、提升运行速度。

2. 禁用不必要的浏览器功能 #

在ChromeOptions中添加以下参数，减少非必要资源消耗：

# 禁用图片加载
options.add_argument('--blink-settings=imagesEnabled=false')
# 禁用JavaScript（若目标站点无需JS渲染数据）
options.add_argument('--disable-javascript')
# 禁用CSS渲染
options.add_argument('--disable-css')
# 禁用扩展程序与GPU加速
options.add_argument('--disable-extensions')
options.add_argument('--disable-gpu')

3. 复用浏览器实例，减少重启次数 #

当前异常时直接重启UC的逻辑会大幅消耗时间，可优化为先尝试刷新页面，多次失败后再重启：

driver = start_uc()
for url in url_list:
    retry_count = 0
    max_retries = 3
    while retry_count < max_retries:
        try:
            driver.get(url)
            # 爬取逻辑
            break
        except Exception:
            retry_count += 1
            driver.refresh()
            if retry_count == max_retries:
                driver.quit()
                driver = start_uc()

4. 精细化区分驱动使用场景 #

保留“反爬弱站点用标准ChromeDriver，反爬强站点用UC”的策略，进一步细化：

• 维护需要UC的站点白名单，其他站点直接调用标准驱动。
• 标准驱动也可添加无头、禁用图片等优化参数，进一步提升速度。

5. 并发爬取优化 #

若任务量较大，可采用多线程（单线程对应一个浏览器实例）优化效率，但需注意：

• 控制浏览器实例数量，避免占用过多系统资源。
• 搭配IP代理轮换，避免单IP频繁触发反爬限制。

三、关于chrome_path影响UC的补充说明 #

ChromeDriverManager().install()会将标准ChromeDriver安装到系统指定目录，UC启动时会自动校验Chrome版本与驱动版本的匹配性。如果两者版本不一致，UC就会重新下载适配的驱动。通过手动指定驱动路径，可强制UC复用现有驱动，跳过重复安装流程。

内容的提问来源于stack exchange，提问作者Christian Trujillo