如何使用Python Requests库获取URL状态码而不下载目标大文件？

完全理解你的顾虑——用requests.get()去校验几十万条大文件链接，那简直是资源噩梦，不仅慢到离谱，还会耗掉巨量带宽和存储空间。其实你完全可以只获取URL的状态码，不用下载整个文件，下面给你两种可靠的方案：

1. 优先使用requests.head()方法 #

HTTP的HEAD请求方法就是专门干这个的：它只会请求服务器返回响应头信息，不会下载任何文件主体内容，完美匹配你的需求。

示例代码：

import requests

def validate_url(url):
    try:
        # 设置超时时间避免无限等待；allow_redirects=True自动跟进重定向
        response = requests.head(url, timeout=10, allow_redirects=True)
        # 主动抛出HTTP错误（比如404、500等），方便统一处理异常
        response.raise_for_status()
        return (url, response.status_code)
    except requests.exceptions.RequestException as e:
        # 捕获所有请求异常：超时、连接失败、HTTP错误等
        return (url, f"无效: {str(e)}")

2. 针对不支持HEAD请求的服务器：用流式GET请求 #

有些服务器可能出于安全或配置原因，拒绝响应HEAD请求。这时候可以用GET请求，但开启stream=True参数，这样requests不会自动下载整个文件，只会获取响应头。只要你不主动读取响应的内容部分，就不会消耗带宽下载文件。

示例代码：

import requests

def validate_url_fallback(url):
    try:
        with requests.get(url, stream=True, timeout=10, allow_redirects=True) as response:
            response.raise_for_status()
            return (url, response.status_code)
            # 注意：不要调用response.content、response.text或response.iter_content()
    except requests.exceptions.RequestException as e:
        return (url, f"无效: {str(e)}")

优化建议：并发处理加速校验 #

几十万条链接串行处理肯定太慢，建议用多线程或异步请求来提高效率。比如用Python的concurrent.futures.ThreadPoolExecutor做简单的多线程并发：

from concurrent.futures import ThreadPoolExecutor
import requests

def validate_url(url):
    try:
        response = requests.head(url, timeout=10, allow_redirects=True, headers={
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
        })
        response.raise_for_status()
        return (url, response.status_code)
    except requests.exceptions.RequestException as e:
        return (url, f"无效: {str(e)}")

# 假设你的URL列表存在urls变量中
urls = ["http://your-domain.com/large-file1.bin", "http://your-domain.com/large-file2.bin", ...]

# 调整max_workers数量，根据你的网络和服务器承受能力来设置
with ThreadPoolExecutor(max_workers=30) as executor:
    results = executor.map(validate_url, urls)

# 遍历处理结果
for url, status in results:
    print(f"URL: {url} | 状态: {status}")

额外注意事项 #

• 设置合理超时：一定要加timeout参数，避免单个请求卡住拖慢整个脚本。
• 模拟浏览器请求头：有些服务器会拦截无User-Agent的请求，所以建议加上真实的浏览器User-Agent。
• 处理重定向：如果你的链接可能存在301/302重定向，记得开启allow_redirects=True，确保校验的是最终目标地址的有效性。

内容的提问来源于stack exchange，提问作者Bagheera