Docker环境下配置代理后Selenium仍报502错误求助

核心差异点：Requests vs Selenium/Chrome的代理处理逻辑 #

Requests直接读取系统环境变量的http_proxy/https_proxy并应用，但Chrome的代理配置需要显式声明，且其请求特征（UA、TLS版本、请求头结构）和Requests不同，容易触发McAfee网关的拦截规则。

1. 显式配置Chrome代理（最可能解决） #

Chrome不会自动继承容器的代理环境变量，必须通过启动参数强制设置，同时注意区分HTTP/HTTPS代理、排除本地地址：

import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
# 统一设置代理（如果HTTP和HTTPS代理相同）
proxy_addr = os.getenv("http_proxy").replace("http://", "")
chrome_options.add_argument(f'--proxy-server=http://{proxy_addr}')
# 如果HTTPS代理独立，单独设置：
# chrome_options.add_argument(f'--proxy-server=https://{os.getenv("https_proxy").replace("https://", "")}')
# 排除本地/内部地址，避免不必要的代理请求
chrome_options.add_argument(f'--no-proxy-server={os.getenv("no_proxy", "localhost,127.0.0.1,169.254.169.254")}')

# 若代理需要认证，直接嵌入地址：
# chrome_options.add_argument('--proxy-server=http://username:password@proxy-host:port')

driver = webdriver.Chrome(options=chrome_options)

2. 对齐Requests的请求特征，绕过McAfee拦截 #

McAfee可能基于UA或TLS版本拦截Chrome请求，将Chrome的请求特征改为和Requests一致：

# 获取Requests默认UA：print(requests.utils.default_user_agent())
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
# 强制使用TLS 1.3（匹配Requests的默认TLS配置）
chrome_options.add_argument('--ssl-version=tls1.3')
# 禁用Chrome的安全检查（仅调试用，生产环境不建议）
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--allow-insecure-localhost')

3. 确保ECS容器运行时的代理环境变量正确传递 #

Docker build阶段的代理仅用于构建过程，ECS容器运行时需要单独配置：

• 在ECS任务定义的容器环境变量中添加http_proxy、https_proxy、no_proxy；
• 检查容器网络模式（如awsvpc）是否允许访问代理服务器的端口，确认安全组/网络ACL规则放行代理IP和端口。

4. 修正SeleniumWire的配置（若之前使用不当） #

如果用SeleniumWire，需明确指定代理协议，并处理SSL证书问题：

import os
from seleniumwire import webdriver

seleniumwire_options = {
    'proxy': {
        'http': os.getenv('http_proxy'),
        'https': os.getenv('https_proxy'),
        'no_proxy': os.getenv('no_proxy', 'localhost,127.0.0.1')
    },
    # 若McAfee证书未被容器信任，临时关闭SSL验证（生产环境建议导入证书）
    'verify_ssl': False,
    # 或指定McAfee的根证书路径
    # 'ca_certs': '/opt/mcafee-root-cert.pem'
}

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)

5. 排查McAfee网关日志 #

联系运维查看McAfee Web Gateway的访问日志，确认：

• 是代理无法连接sec.gov，还是Chrome的请求被网关拦截；
• 日志中是否有明确的拦截原因（如UA异常、TLS版本不兼容、请求头格式问题）。

内容的提问来源于stack exchange，提问作者Bruno Guerra