Selenium Python切换IP访问网页失败，请求排查及方案建议

阿华AIGC实验室

2026-5-8

排查与解决：使用代理IP加载网站失败的问题

让我来帮你拆解这个问题——页面加载失败大概率是免费代理的有效性和脚本配置细节共同导致的，咱们一步步来分析和解决：

一、可能的问题根源

1. 免费代理的可靠性问题

你用http_request_randomizer获取的免费代理列表里，大部分代理其实是失效的：

免费代理存活时间极短，可能刚获取到就已经无法连接
很多免费代理速度慢、延迟高，甚至被目标网站（比如expressvpn的IP检测页）主动屏蔽
你直接取列表第一个proxies[0]，踩雷的概率非常高

2. 脚本配置的兼容性问题

你用DesiredCapabilities配置代理的方式，在新版Selenium中已经被标记为过时，容易出现兼容性问题；同时脚本缺少超时处理和异常捕获，代理连接慢的时候会一直卡住，看起来像页面未加载。

二、优化后的解决方案

方案1：优化现有脚本，增加代理有效性检测

我们可以先测试代理是否能正常访问目标网站，再用它启动浏览器；同时改用新版Selenium推荐的ChromeOptions配置代理：

from http_request_randomizer.requests.proxy.requestProxy import RequestProxy
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import requests

def test_proxy(proxy_address):
    """测试代理是否能正常访问目标网站"""
    try:
        proxies = {
            'http': f'http://{proxy_address}',
            'https': f'http://{proxy_address}'
        }
        # 10秒超时，避免长时间等待
        response = requests.get('https://www.expressvpn.com/what-is-my-ip', proxies=proxies, timeout=10)
        return response.status_code == 200
    except Exception as e:
        print(f"代理{proxy_address}测试失败：{str(e)}")
        return False

# 获取代理列表并筛选可用的
req_proxy = RequestProxy()
proxies = req_proxy.get_proxy_list()
usable_proxy = None

print("正在测试可用代理...")
for proxy in proxies[:10]:  # 只测试前10个，避免耗时过长
    proxy_addr = proxy.get_address()
    if test_proxy(proxy_addr):
        usable_proxy = proxy_addr
        print(f"找到可用代理：{usable_proxy}")
        break

if not usable_proxy:
    print("没有找到可用的免费代理，请尝试重新运行脚本或更换代理源")
else:
    # 用ChromeOptions配置代理（新版Selenium推荐方式）
    chrome_options = Options()
    chrome_options.add_argument(f'--proxy-server={usable_proxy}')
    
    # 使用webdriver-manager自动管理Chrome驱动，无需手动指定路径
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)
    driver.set_page_load_timeout(30)  # 设置页面加载超时
    
    try:
        driver.get('https://www.expressvpn.com/what-is-my-ip')
        print("页面加载成功！可以查看当前IP了")
    except Exception as e:
        print(f"页面加载失败：{str(e)}")
    finally:
        driver.quit()