Selenium爬虫SSH远程运行报ERR_CONNECTION_RESET错误 本地正常求解
SSH远程运行Selenium触发
ERR_CONNECTION_RESET的解决方案 - 优先校验SSH会话下的基础网络连通性
在SSH连接的终端内直接执行curl -I https://www.douyu.com/9999,验证当前非桌面会话的网络请求能力:- 如果curl同样返回连接重置,先排查两类常见配置差异:一是桌面本地登录时加载了系统代理、私有DNS等配置,非交互SSH会话没有加载对应环境变量,导致Chrome直连请求被目标站点拦截;二是系统防火墙规则对非桌面会话进程的出站请求做了限制。对应解决方式为:在Chrome启动参数中添加
--proxy-server=与本地桌面一致的代理地址对齐网络出口,同时调整防火墙规则放行Chrome、ChromeDriver的出站流量。 - 如果curl连通正常但Chrome仍报连接重置,可排除网络本身故障,继续调整Chrome运行配置。
- 如果curl同样返回连接重置,先排查两类常见配置差异:一是桌面本地登录时加载了系统代理、私有DNS等配置,非交互SSH会话没有加载对应环境变量,导致Chrome直连请求被目标站点拦截;二是系统防火墙规则对非桌面会话进程的出站请求做了限制。对应解决方式为:在Chrome启动参数中添加
- 补全适配SSH无GUI会话的Chrome启动参数
现有参数虽然适配了headless模式,但在无桌面图形会话的SSH环境下,缺失的参数会触发Chrome网络栈的异常中断,可将原有启动参数调整为:chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--no-sandbox') chrome_options.add_argument('--disable-gpu') chrome_options.add_argument('--disable-dev-shm-usage') # 新增SSH会话适配参数 chrome_options.add_argument('--window-size=1920,1080') chrome_options.add_argument( '--user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36' ) chrome_options.add_argument('--remote-debugging-address=127.0.0.1') chrome_options.add_argument('--remote-debugging-port=9222') chrome_options.add_argument('--disable-features=VizDisplayCompositor') driver = webdriver.Chrome(chrome_options=chrome_options)注:Selenium 4.x及以上版本请将传参关键字从
chrome_options替换为options,避免触发弃用警告。 - 修正Cookie构造逻辑减少异常请求触发
现有Cookie配置中包含空值的expires字段、非标准的HostOnly字段,在SSH会话的严格Cookie校验规则下,容易触发Chrome的异常请求重试,导致连接被目标站点重置。可简化Cookie构造字段,移除空值与非标准配置:cookie1 = { 'domain': '.douyu.com', 'name': i, 'value': cookies[i], 'path': '/', 'httpOnly': False, 'Secure': False, } - 对齐SSH会话下的用户运行环境
本地桌面运行时,Chrome加载的是当前桌面用户的家目录配置,SSH远程非交互会话可能存在环境变量缺失问题:- 运行脚本前手动指定家目录路径,执行
export HOME=/home/你的登录用户名,确保Chrome加载的用户配置目录与本地桌面运行时完全一致,避免因空配置目录导致的反爬拦截 - 确认ChromeDriver的可执行文件权限属于当前SSH登录用户,避免权限不足触发网络栈的强制中断
- 运行脚本前手动指定家目录路径,执行
内容的提问来源于stack exchange,提问作者GeekNomore
相关产品推荐
相关产品推荐

