Django自定义管理命令下获取URL多重重定向最终地址以验证链接有效性
多轮重定向场景下的URL有效性校验实现方案
现有实现的核心问题
- 未配置模拟真实浏览器的请求头,大量学术站点会识别默认的
python-requestsUA标识,触发反爬策略后返回不完整的重定向链路,甚至直接截断跳转响应——这正是你遇到牛津学术站点跳转不完整的核心原因:脚本被识别为爬虫后,站点不会返回完整的跳转头信息,仅返回中间节点的302状态码就终止响应。 - 重复发起两次GET请求,不仅执行效率低,还会因请求间隔、访问频率触发站点临时封禁,导致返回的状态码失真。
- 未设置合理的超时、最大重定向次数阈值,遇到无限循环跳转的场景会直接卡死。
- 代码存在字段取值错误,拼接DOI链接时错用了不存在的
item.publication字段,对应模型实际存储字段为publication_doi_url。
优化后的实现逻辑
通过调整请求配置、合并重复请求、完善异常捕获,完整追踪全链路重定向节点,无遗漏获取最终URL和实际访问状态:
- 配置模拟主流Chrome浏览器的请求头,绕过站点对脚本请求的基础拦截
- 单次请求开启全链路重定向跟随,设置最大重定向次数为20次(足够覆盖所有学术站点的跳转链路),拿到无遗漏的最终URL与状态码,避免重复请求
- 补全所有网络异常的捕获逻辑,覆盖超时、连接失败、循环跳转、HTTP错误等场景,不局限于只抓取HTTP 404的场景
- 批量遍历模型数据时使用迭代器加载,避免全量加载导致的内存占用过高
参考实现代码
import requests from requests.exceptions import ( ConnectionError, Timeout, TooManyRedirects, HTTPError ) from django.core.management.base import BaseCommand from .models import Association # 模拟真实Chrome浏览器请求头,绕过站点对python-requests的UA拦截 HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8", "Accept-Language": "en-US,en;q=0.9", } def get_final_url_and_status(target_url): """ 完整追踪全链路重定向,返回最终URL、HTTP状态码、异常信息 单次请求完成所有跳转追踪,避免重复请求 """ try: response = requests.get( target_url, headers=HEADERS, timeout=10, allow_redirects=True, max_redirects=20 ) final_status = response.status_code final_url = response.url return final_url, final_status, None except TooManyRedirects: return target_url, None, "超过最大重定向次数,可能存在循环跳转" except Timeout: return target_url, None, "请求超时,站点无响应" except ConnectionError: return target_url, None, "连接失败,目标域名无法访问" except HTTPError as e: final_url = e.response.url final_status = e.response.status_code return final_url, final_status, f"HTTP错误:{final_status}" class Command(BaseCommand): help = 'Prints inactive urls (HTTP 404 error)' def handle(self, *args, **kwargs): # 使用迭代器遍历,避免一次性加载全量数据占用过高内存 for item in Association.objects.all().iterator(): doi_str = item.publication_doi_url.strip() if not doi_str: continue target_url = f"https://doi.org/{doi_str}" final_url, final_status, err_msg = get_final_url_and_status(target_url) # 命中404失效场景直接输出 if final_status == 404: self.stdout.write( self.style.ERROR( f"失效链接:关联名称={item.name},原始URL={target_url},最终URL={final_url}" ) ) # 其他访问异常场景做标记 if err_msg: self.stdout.write( self.style.WARNING( f"访问异常:关联名称={item.name},URL={target_url},原因={err_msg}" ) )
关于之前遇到的牛津学术链接跳转不完整的问题:只要替换为真实浏览器的UA标识,站点就会将脚本请求判定为正常用户访问,返回完整的跳转链路,自动追踪剩余的302节点,最终拿到真正的落地URL,不会出现跳转截断的问题。
实操注意事项
- 批量校验时可适当增加1-2秒的请求间隔,避免短时间高频访问同一域名,触发站点的IP临时限流
- 不要使用HEAD请求做URL校验,多数站点对HEAD请求的返回逻辑与GET请求存在差异,容易出现状态码判断失真
- 遇到部分站点仍存在重定向不完整的情况,可补充请求头的Referer字段,匹配站点对访问来源的校验要求
内容的提问来源于stack exchange,提问作者catuf
相关产品推荐
相关产品推荐

