You need to enable JavaScript to run this app. requests爬虫遇重定向返回200时如何确定游戏列表爬取终止时机
优惠活动
大模型
产品
解决方案
定价
更多

requests爬虫遇重定向返回200时如何确定游戏列表爬取终止时机

爬取终止逻辑的优化方案

核心问题根因

requests 库默认开启自动重定向跟随,所有3xx响应会被自动跟进到最终落地页面,因此你拿到的status_code是最终200响应的状态码,而非原始请求携带的301重定向状态码,原本基于状态码的判断逻辑自然失效。

无需解析HTML的优雅实现方案

两种实现路径可任选其一,完全不需要对比页面结构、检测内容重复,即可精准识别页码越界的场景:

方案1:关闭自动重定向,直接检测原始响应状态码

在构造请求时传入allow_redirects=False参数,此时返回的响应就是服务端最初返回的301状态码,不需要等待重定向落地的额外网络开销,性能最优:

  • 只要检测到3xx类状态码,就说明当前请求的页码越界,直接终止当前字母的爬取循环即可

核心修改片段如下:

while True:
    # 关闭自动重定向,直接获取原始3xx响应
    rq = requests.get(
        f'https://vandal.elespanol.com/juegos/13/pc/letra/{i}/inicio/{counter}',
        allow_redirects=False
    )
    if rq:
        print('Request GET: from ' + f'https://vandal.elespanol.com/juegos/13/pc/letra/{i}/inicio/{counter}' + ' Got Workable Code !')
    # 3xx状态码代表页码越界,直接跳出循环
    if rq.status_code in (301, 302, 303, 304):
        print(f'No more games in letter {i}\n**REDIRECTING TO **')
        break
    # 只有正常200响应才继续自增页码、解析内容
    counter +=1
    soup = BeautifulSoup(rq.content, 'lxml')
    # 原有解析逻辑保持不变

方案2:保留自动重定向,对比最终落地URL与请求URL

如果希望保留默认的自动重定向逻辑,可以利用requests内置的URL追踪能力:响应对象的url属性存储了整个重定向链路最终落地的页面地址。
逻辑非常直接:

  • 你构造的请求URL是携带当前页码的完整地址
  • 当页码越界触发重定向时,最终落地的URL必然是该字母分类的第一页地址,与你构造的当前请求URL不一致
  • 只要两个URL不相等,就说明发生了重定向、页码越界,直接终止循环即可

核心修改片段如下:

while True:
    current_request_url = f'https://vandal.elespanol.com/juegos/13/pc/letra/{i}/inicio/{counter}'
    rq = requests.get(current_request_url)
    if rq:
        print('Request GET: from ' + current_request_url + ' Got Workable Code !')
    # 落地URL与初始请求URL不一致 = 触发重定向 = 页码越界
    if rq.url != current_request_url:
        print(f'No more games in letter {i}')
        break
    counter +=1
    soup = BeautifulSoup(rq.content, 'lxml')
    # 原有解析逻辑保持不变

站点规则变化时的兜底检测

如果后续站点修改了重定向策略(比如越界时返回空白页而非重定向),可以加一层极轻量的兜底判断:

  • 统计当前页面解析到的游戏表格数量
  • 当某页返回的游戏数量为0时,直接终止循环

这个逻辑的实现成本远低于全页面结构对比,且不会出现误判。

对之前考虑方案的补充说明

  • 对比页面结构一致性:实现成本高,且本质上和检测URL重定向的逻辑等效,属于冗余实现
  • 检测游戏内容重复:容易出现误判——比如同体裁的游戏在有效页面连续出现时,会被误判为重定向导致的内容重复,提前终止爬取流程

内容的提问来源于stack exchange,提问作者L0neW0lf

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 04:15:04