如何为undetected-chromedriver更换代理？单页单代理爬取需求咨询

方案一：每个页面启动独立浏览器实例（简单直接） #

• 核心逻辑：为每个待爬页面单独启动一个undetected-chromedriver实例，给每个实例配置专属代理，爬取完成后立即关闭实例，实现完全隔离。
• 代码示例：

import undetected_chromedriver as uc

def crawl_with_proxy(url, proxy):
    # 配置Chrome选项与代理
    options = uc.ChromeOptions()
    # 代理格式：http://ip:port 或 http://username:password@ip:port
    options.add_argument(f'--proxy-server={proxy}')
    
    # 启动浏览器实例
    driver = uc.Chrome(options=options)
    try:
        driver.get(url)
        # 执行爬取逻辑，示例为获取页面源码
        page_content = driver.page_source
        print(f"页面{url}爬取完成，使用代理：{proxy}")
        return page_content
    finally:
        # 确保实例被关闭，释放资源
        driver.quit()

# 批量爬取任务示例
task_list = [
    ("https://example.com/page1", "http://proxy1:8080"),
    ("https://example.com/page2", "http://proxy2:8080"),
    ("https://example.com/page3", "http://proxy3:8080")
]

for url, proxy in task_list:
    crawl_with_proxy(url, proxy)

• 优缺点：实现门槛低，代理完全无串用风险；但多个浏览器实例会占用更多系统资源，适合页面数量较少的场景。

方案二：同一浏览器实例下给单个标签页动态设代理（资源友好） #

• 核心逻辑：利用Chrome DevTools Protocol（CDP）的Network.setProxy接口，在新打开的标签页中单独配置代理，爬取完成后关闭标签页，全程共用一个浏览器实例。
• 代码示例：

import undetected_chromedriver as uc

def set_current_tab_proxy(driver, proxy):
    # 通过CDP给当前活跃标签页设置代理
    driver.execute_cdp_cmd(
        "Network.setProxy",
        {
            "proxySettings": {
                "proxyType": "manual",
                "httpProxy": proxy,
                "httpsProxy": proxy
            }
        }
    )
    # 启用网络监听确保代理生效
    driver.execute_cdp_cmd("Network.enable", {})

def crawl_single_tab(driver, url, proxy):
    # 打开新标签页
    driver.execute_script("window.open('');")
    # 切换到新标签页
    driver.switch_to.window(driver.window_handles[-1])
    # 配置当前标签页代理
    set_current_tab_proxy(driver, proxy)
    try:
        driver.get(url)
        page_content = driver.page_source
        print(f"页面{url}爬取完成，使用代理：{proxy}")
        return page_content
    finally:
        # 关闭当前标签页并切回主页面
        driver.close()
        driver.switch_to.window(driver.window_handles[0])

# 启动主浏览器实例
driver = uc.Chrome()

# 批量爬取任务示例
task_list = [
    ("https://example.com/page1", "http://proxy1:8080"),
    ("https://example.com/page2", "http://proxy2:8080"),
    ("https://example.com/page3", "http://proxy3:8080")
]

for url, proxy in task_list:
    crawl_single_tab(driver, url, proxy)

# 关闭主实例
driver.quit()

• 优缺点：仅启动一个浏览器实例，资源占用低，适合大量页面爬取；但需注意切换标签页后必须重新设置代理，带账号密码的代理需额外处理认证（可通过CDP添加HTTP认证头或使用代理自动认证扩展）。

额外注意事项 #

• 代理有效性：使用前务必验证代理连通性，避免因代理失效导致爬取失败。
• 反爬适配：优先使用高匿代理，配合undetected-chromedriver的指纹隐藏能力，降低被目标网站封禁的概率。
• 资源管理：方案一需确保每个实例被正确关闭，避免内存泄漏；方案二需及时清理无效标签页，防止浏览器进程过载。

内容的提问来源于stack exchange，提问作者何子洋