requests爬虫遇重定向返回200时如何确定游戏列表爬取终止时机
爬取终止逻辑的优化方案
核心问题根因
requests 库默认开启自动重定向跟随,所有3xx响应会被自动跟进到最终落地页面,因此你拿到的status_code是最终200响应的状态码,而非原始请求携带的301重定向状态码,原本基于状态码的判断逻辑自然失效。
无需解析HTML的优雅实现方案
两种实现路径可任选其一,完全不需要对比页面结构、检测内容重复,即可精准识别页码越界的场景:
方案1:关闭自动重定向,直接检测原始响应状态码
在构造请求时传入allow_redirects=False参数,此时返回的响应就是服务端最初返回的301状态码,不需要等待重定向落地的额外网络开销,性能最优:
- 只要检测到3xx类状态码,就说明当前请求的页码越界,直接终止当前字母的爬取循环即可
核心修改片段如下:
while True: # 关闭自动重定向,直接获取原始3xx响应 rq = requests.get( f'https://vandal.elespanol.com/juegos/13/pc/letra/{i}/inicio/{counter}', allow_redirects=False ) if rq: print('Request GET: from ' + f'https://vandal.elespanol.com/juegos/13/pc/letra/{i}/inicio/{counter}' + ' Got Workable Code !') # 3xx状态码代表页码越界,直接跳出循环 if rq.status_code in (301, 302, 303, 304): print(f'No more games in letter {i}\n**REDIRECTING TO **') break # 只有正常200响应才继续自增页码、解析内容 counter +=1 soup = BeautifulSoup(rq.content, 'lxml') # 原有解析逻辑保持不变
方案2:保留自动重定向,对比最终落地URL与请求URL
如果希望保留默认的自动重定向逻辑,可以利用requests内置的URL追踪能力:响应对象的url属性存储了整个重定向链路最终落地的页面地址。
逻辑非常直接:
- 你构造的请求URL是携带当前页码的完整地址
- 当页码越界触发重定向时,最终落地的URL必然是该字母分类的第一页地址,与你构造的当前请求URL不一致
- 只要两个URL不相等,就说明发生了重定向、页码越界,直接终止循环即可
核心修改片段如下:
while True: current_request_url = f'https://vandal.elespanol.com/juegos/13/pc/letra/{i}/inicio/{counter}' rq = requests.get(current_request_url) if rq: print('Request GET: from ' + current_request_url + ' Got Workable Code !') # 落地URL与初始请求URL不一致 = 触发重定向 = 页码越界 if rq.url != current_request_url: print(f'No more games in letter {i}') break counter +=1 soup = BeautifulSoup(rq.content, 'lxml') # 原有解析逻辑保持不变
站点规则变化时的兜底检测
如果后续站点修改了重定向策略(比如越界时返回空白页而非重定向),可以加一层极轻量的兜底判断:
- 统计当前页面解析到的游戏表格数量
- 当某页返回的游戏数量为0时,直接终止循环
这个逻辑的实现成本远低于全页面结构对比,且不会出现误判。
对之前考虑方案的补充说明
- 对比页面结构一致性:实现成本高,且本质上和检测URL重定向的逻辑等效,属于冗余实现
- 检测游戏内容重复:容易出现误判——比如同体裁的游戏在有效页面连续出现时,会被误判为重定向导致的内容重复,提前终止爬取流程
内容的提问来源于stack exchange,提问作者L0neW0lf
相关产品推荐
相关产品推荐

