从Django应用访问Imgur图片时出现429错误求助

问题场景 #

我有一个正在运行的Django项目，其中一个模块会将图片上传至Imgur服务器，并使用图片直接链接（https://i.imgur.com/<hash>.png）获取图片作为背景生成PDF。当前遇到的异常情况：

• 从本地网络IP运行的Django服务器发起图片请求时，Imgur返回429错误
• 图片上传功能正常，通过Postman或浏览器直接访问图片链接也能正常加载
• 查看应用速率限制数据，剩余请求量远未达到阈值：

{
    "data": {
        "UserLimit": 500,
        "UserRemaining": 499,
        "UserReset": 1709980963,
        "ClientLimit": 12500,
        "ClientRemaining": 12495
    },
    "success": true,
    "status": 200
}

请求代码及响应信息 #

请求代码：

import requests
id = '<hash>'
res = requests.get(f'https://i.imgur.com/{id}.png')

# print(res.json()) #! Throws JSONDecodeError
print({
    "Headers": res.headers,
    "status_code": res.status_code,
    "reason": res.reason,
    "content": res.text,
    "url": res.url,
})

响应调试信息：

{
    "Headers": {
        "Connection": "close",
        "Content-Length": "0",
        "Retry-After": "0",
        "Cache-Control": "no-store, no-cache, must-revalidate, post-check=0, pre-check=0",
        "Accept-Ranges": "bytes",
        "Date": "Sat, 09 Mar 2024 10:10:15 GMT",
        "X-Served-By": "cache-ams21065-AMS",
        "X-Cache": "MISS",
        "X-Cache-Hits": "0",
        "X-Timer": "S1709979016.797421,VS0,VE0",
        "Strict-Transport-Security": "max-age=300",
        "Access-Control-Allow-Methods": "GET, OPTIONS",
        "Access-Control-Allow-Origin": "*",
        "Server": "cat factory 1.0"
        },
    "status_code": 429,
    "reason": "Unknown Error",
    "content": "",
    "url": "https://i.imgur.com/<hash>.png",
    "_content_consumed": true,
    "is_permanent_redirect": false,
    "is_redirect": false
}

可能的原因及解决方向 #

1. 请求头缺失合法识别信息 #

浏览器和Postman会自动携带User-Agent等标识头，而requests库默认的请求头可能被Imgur的反爬机制判定为非人工请求。尝试给请求添加模拟浏览器的User-Agent：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
res = requests.get(f'https://i.imgur.com/{id}.png', headers=headers)

2. 本地IP被临时限制 #

尽管速率限制显示剩余请求充足，但Imgur可能基于IP维度设置了额外的频率限制（比如短时间内请求模式异常）。可以尝试：

• 重启本地网络设备，更换出口IP
• 给批量请求添加随机延迟，避免短时间内集中发起请求

3. 请求未携带认证标识 #

上传图片时使用了API密钥，但获取图片时未携带相关认证头。即使图片是公开的，Imgur可能对未认证的程序化请求有额外限制。尝试在请求中添加上传时使用的Client ID：

headers = {
    'Authorization': 'Client-ID YOUR_CLIENT_ID'
}
res = requests.get(f'https://i.imgur.com/{id}.png', headers=headers)

4. Imgur缓存节点异常 #

响应头显示X-Cache: MISS，说明请求命中了未缓存的边缘节点，该节点可能存在临时限制策略。可以等待一段时间后重试，或尝试重复请求1-2次（注意不要触发真的速率限制）。

内容的提问来源于stack exchange，提问作者Mitrajeet Golsangi