如何用Python Requests不加载内容快速验证Internet Archive音频链接有效性？

针对你的需求，有几种无需完整下载音频文件的快速验证方案：

1. 使用HTTP HEAD请求 #

HEAD请求仅获取响应头信息，不会下载文件主体，能大幅减少请求耗时。绝大多数符合HTTP规范的服务器（包括Internet Archive）都支持该方法。

示例代码：

import requests

def check_link(link):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }
    try:
        response = requests.head(link, headers=headers, timeout=10)
        # 200表示链接有效；403/404表示无效或无权限
        return response.status_code == 200
    except requests.exceptions.RequestException:
        return False

2. 发送Range请求获取部分内容 #

如果遇到少数不支持HEAD请求的场景，可以用Range头只请求文件的前几字节（比如0-99字节），服务器会返回206 Partial Content状态码表示文件存在，无需下载完整音频。

示例代码：

import requests

def check_link(link):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
        'Range': 'bytes=0-99'
    }
    try:
        response = requests.get(link, headers=headers, timeout=10)
        # 206或200都表示链接有效；403/404/416表示无效
        return response.status_code in (200, 206)
    except requests.exceptions.RequestException:
        return False

3. 解析链接查询Internet Archive项目元数据 #

每个音频链接的路径中包含项目标识符（比如示例链接里的gd1971-04-27.sbd.bode-hoffman-merryprankster-stundel.2998.shnf），可以通过提取项目ID和文件名，查询该项目的文件列表来验证文件是否存在。这种方法准确性更高，但需要额外解析链接结构。

注意事项 #

• 务必添加合法的User-Agent头，避免被Internet Archive的反爬机制拦截导致误判403。
• 设置合理的超时时间，避免因网络问题阻塞遍历流程。

内容的提问来源于stack exchange，提问作者Nick Slanec