Python处理带登录与JS重定向的网页爬取超时问题
问题核心拆解
这类前端JS触发的重定向,只要没有做复杂的动态参数计算,完全不需要依赖浏览器渲染引擎,用纯请求库就能处理,不需要引入Selenium。
从你贴的重定向页面源码可以看到:
- 服务端在你提交登录凭证成功后,直接返回200状态码的中间提示页,没有返回HTTP层的3xx重定向头,所以
requests库的自动重定向逻辑完全感知不到这步跳转,只会停在中间页 - 页面上的JS跳转逻辑是硬编码的固定地址,没有动态拼接加密参数、校验浏览器环境的逻辑,连备用跳转的链接都是同一个明文地址,旁边的POST表单也没有携带任何隐藏的校验字段,整个跳转流程没有额外校验门槛
具体处理步骤
1. 先修正现有代码的语法问题
你当前代码存在变量名不匹配的bug:
- 登录请求的返回对象是
result_login,但后续解析HTML时引用了不存在的result变量,会直接触发NameError - 拿到中间重定向页的响应后,没有主动发起后续跳转请求,才会出现等待超时的问题
2. 手动提取重定向目标地址
拿到登录接口的响应后,直接用字符串匹配/HTML解析的方式提取固定跳转地址即可,不需要执行JS:
import re import requests from bs4 import BeautifulSoup # 全程复用同一个会话实例,自动存储登录后的Cookie凭证 session = requests.session() # 发起登录请求 login_resp = session.post( LOGIN_ENDPOINT, data={ "USERNAME": "myusername", "PASSWORD": "MyPasswordSuperSafe", "option": "login" }, headers={"referer": LOGIN_ENDPOINT}, timeout=10 ) # 先校验登录请求本身是否成功返回 login_resp.raise_for_status() # 提取跳转地址,双校验兼容JS逻辑或页面链接变动 redirect_url = None # 优先匹配JS里硬编码的跳转目标 js_redirect_match = re.search(r"top\.location\.href = '([^']+)'", login_resp.text) if js_redirect_match: redirect_url = js_redirect_match.group(1) else: # 次选匹配页面给普通用户的备用跳转链接 soup = BeautifulSoup(login_resp.text, "html.parser") backup_link = soup.find("a", {"target": "_top"}) if backup_link: redirect_url = backup_link["href"] if not redirect_url: raise RuntimeError("未从登录响应中提取到跳转目标地址") # 复用登录后的会话直接请求跳转目标地址 # 如果GET请求被拦截,就换成POST方法请求同一个地址即可,无需额外参数 final_resp = session.get(redirect_url, timeout=15) print(f"跳转后页面状态码: {final_resp.status_code}")
踩坑提醒
- 全程必须复用同一个
requests.Session()实例,站点靠Cookie传递登录状态,换新建请求的话会直接跳回登录页 - 从页面源码可以看到,跳转目标同时关联了GET方式的JS跳转和POST方式的空表单提交,两种请求方法指向同一个地址、不带任何隐藏CSRF字段,哪种方法通就用哪种
- 超时问题的本质是拿到中间页之后没有后续请求,并不是站点故意加的安全校验拦截
兼容场景的延伸处理
如果后续站点更新了JS逻辑,开始在跳转时动态拼接参数(比如把当前Cookie值拼在URL里),不需要引入Selenium这类重型方案,可以用轻量的PyExecJS执行页面上的小段JS逻辑提取目标地址,资源消耗比启动浏览器低很多。
内容的提问来源于stack exchange,提问作者Jean-Francois T.
相关产品推荐
相关产品推荐

