You need to enable JavaScript to run this app. Django自定义管理命令下获取URL多重重定向最终地址以验证链接有效性
优惠活动
大模型
产品
解决方案
定价
更多

Django自定义管理命令下获取URL多重重定向最终地址以验证链接有效性

多轮重定向场景下的URL有效性校验实现方案

现有实现的核心问题

  • 未配置模拟真实浏览器的请求头,大量学术站点会识别默认的python-requests UA标识,触发反爬策略后返回不完整的重定向链路,甚至直接截断跳转响应——这正是你遇到牛津学术站点跳转不完整的核心原因:脚本被识别为爬虫后,站点不会返回完整的跳转头信息,仅返回中间节点的302状态码就终止响应。
  • 重复发起两次GET请求,不仅执行效率低,还会因请求间隔、访问频率触发站点临时封禁,导致返回的状态码失真。
  • 未设置合理的超时、最大重定向次数阈值,遇到无限循环跳转的场景会直接卡死。
  • 代码存在字段取值错误,拼接DOI链接时错用了不存在的item.publication字段,对应模型实际存储字段为publication_doi_url。

优化后的实现逻辑

通过调整请求配置、合并重复请求、完善异常捕获,完整追踪全链路重定向节点,无遗漏获取最终URL和实际访问状态:

  1. 配置模拟主流Chrome浏览器的请求头,绕过站点对脚本请求的基础拦截
  2. 单次请求开启全链路重定向跟随,设置最大重定向次数为20次(足够覆盖所有学术站点的跳转链路),拿到无遗漏的最终URL与状态码,避免重复请求
  3. 补全所有网络异常的捕获逻辑,覆盖超时、连接失败、循环跳转、HTTP错误等场景,不局限于只抓取HTTP 404的场景
  4. 批量遍历模型数据时使用迭代器加载,避免全量加载导致的内存占用过高

参考实现代码

import requests
from requests.exceptions import (
    ConnectionError, Timeout, TooManyRedirects, HTTPError
)
from django.core.management.base import BaseCommand
from .models import Association

# 模拟真实Chrome浏览器请求头,绕过站点对python-requests的UA拦截
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
}

def get_final_url_and_status(target_url):
    """
    完整追踪全链路重定向,返回最终URL、HTTP状态码、异常信息
    单次请求完成所有跳转追踪,避免重复请求
    """
    try:
        response = requests.get(
            target_url,
            headers=HEADERS,
            timeout=10,
            allow_redirects=True,
            max_redirects=20
        )
        final_status = response.status_code
        final_url = response.url
        return final_url, final_status, None
    except TooManyRedirects:
        return target_url, None, "超过最大重定向次数,可能存在循环跳转"
    except Timeout:
        return target_url, None, "请求超时,站点无响应"
    except ConnectionError:
        return target_url, None, "连接失败,目标域名无法访问"
    except HTTPError as e:
        final_url = e.response.url
        final_status = e.response.status_code
        return final_url, final_status, f"HTTP错误:{final_status}"


class Command(BaseCommand):
    help = 'Prints inactive urls (HTTP 404 error)'

    def handle(self, *args, **kwargs):
        # 使用迭代器遍历,避免一次性加载全量数据占用过高内存
        for item in Association.objects.all().iterator():
            doi_str = item.publication_doi_url.strip()
            if not doi_str:
                continue
            target_url = f"https://doi.org/{doi_str}"
            final_url, final_status, err_msg = get_final_url_and_status(target_url)
            
            # 命中404失效场景直接输出
            if final_status == 404:
                self.stdout.write(
                    self.style.ERROR(
                        f"失效链接:关联名称={item.name},原始URL={target_url},最终URL={final_url}"
                    )
                )
            # 其他访问异常场景做标记
            if err_msg:
                self.stdout.write(
                    self.style.WARNING(
                        f"访问异常:关联名称={item.name},URL={target_url},原因={err_msg}"
                    )
                )

关于之前遇到的牛津学术链接跳转不完整的问题:只要替换为真实浏览器的UA标识,站点就会将脚本请求判定为正常用户访问,返回完整的跳转链路,自动追踪剩余的302节点,最终拿到真正的落地URL,不会出现跳转截断的问题。

实操注意事项

  • 批量校验时可适当增加1-2秒的请求间隔,避免短时间高频访问同一域名,触发站点的IP临时限流
  • 不要使用HEAD请求做URL校验,多数站点对HEAD请求的返回逻辑与GET请求存在差异,容易出现状态码判断失真
  • 遇到部分站点仍存在重定向不完整的情况,可补充请求头的Referer字段,匹配站点对访问来源的校验要求

内容的提问来源于stack exchange,提问作者catuf

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 00:45:04