使用python-requests访问带验证码站点 迁移selenium验证码cookie仍无法访问怎么办
核心操作错误点
- 存储和读取Cookie的逻辑完全错配:用
pickle序列化保存的是Selenium返回的多层结构Cookie列表,读取时却用json.load按纯字典结构解析,根本无法拿到有效Cookie。Selenium的get_cookies()返回的每个条目都包含domain、path、expiry、secure等多层字段,直接用requests.utils.cookiejar_from_dict的单层字典转换逻辑完全不兼容,甚至会直接触发读取异常。 - 缺失客户端标识匹配:Google reCAPTCHA的验证状态会绑定客户端的
User-Agent、浏览器指纹特征,新建requests会话时没有同步Selenium当前的请求头,服务端会直接识别出客户端不一致,打回验证码拦截页。 - 漏存本地存储的验证标识:reCAPTCHA v2/v3的部分验证令牌不是全量存在Cookie里,有一部分状态标识存在浏览器的localStorage、sessionStorage中,仅迁移Cookie根本带不走完整的验证状态。
可直接运行的正确操作流程
- Selenium端做状态保存
打开目标站点手动完成验证码校验后,同步保存Cookie和客户端标识,不要只存Cookie:from selenium import webdriver import pickle browser = webdriver.Chrome('chromedriver.exe') browser.get('link-to-site') input('验证码完成后按回车确认?') # 按和读取逻辑匹配的格式存全量Cookie with open('cookies.pkl', 'wb') as f: pickle.dump(browser.get_cookies(), f) # 提取当前浏览器的UA,后续requests请求必须和这个值完全一致 user_agent = browser.execute_script("return navigator.userAgent") with open('ua.txt', 'w') as f: f.write(user_agent) - 初始化requests会话并同步状态
严格按照Selenium返回的Cookie结构逐条导入,不要用简化的字典转换逻辑:import requests import pickle session = requests.session() # 先同步UA,再加载Cookie with open('ua.txt', 'r') as f: session.headers.update({"User-Agent": f.read().strip()}) with open('cookies.pkl', 'rb') as f: selenium_cookie_list = pickle.load(f) for cookie in selenium_cookie_list: session.cookies.set( name=cookie['name'], value=cookie['value'], domain=cookie['domain'], path=cookie.get('path', '/'), expires=cookie.get('expiry') ) - 发起目标请求
直接请求和Selenium打开的完全一致的地址,不要随意改路径、跳页面:resp = session.get('link-to-site', allow_redirects=True) # 返回状态200且内容长度和浏览器打开的页面接近时,即为验证通过 print(resp.status_code, len(resp.text))
实操注意事项
- 这套迁移方法的有效期很短,reCAPTCHA的验证令牌通常1-2小时就会过期,过期后必须重新走Selenium手动验证存状态的流程。
- 如果站点开启了严格的TLS指纹校验,哪怕Cookie、UA完全匹配,原生requests的TLS握手特征和Chrome存在差异,依然会被风控拦截。这种场景要么全程用Selenium完成后续请求,要么使用带Chrome指纹模拟能力的请求组件,不要硬套原生requests。
- 不要误以为验证码验证完成后所有状态都存在Cookie里,部分场景下站点会通过JS二次校验本地存储的字段,仅靠Cookie迁移无法绕过拦截。
内容的提问来源于stack exchange,提问作者coderoftheday
相关产品推荐
相关产品推荐

