Python使用requests获取图片时特定URL无响应的问题求助
Python Requests 拉取 Hogan 域名图片失败问题排查
问题背景
- 测试目标:基于Python脚本拉取2张远程图片用于后续逻辑处理,两张图片的访问地址为:
- 维基媒体托管的透明图演示资源:
https://upload.wikimedia.org/wikipedia/commons/4/47/PNG_transparency_demonstration_1.png - Hogan 站点托管的商品图资源:
https://www.hogan.com/fashion/hogan/HXW4350DM10NCR0RSZ/HXW4350DM10NCR0RSZ-02.png
- 维基媒体托管的透明图演示资源:
- 已验证可正常运行的测试脚本:
import requests from PIL import Image from io import BytesIO url = "https://upload.wikimedia.org/wikipedia/commons/4/47/PNG_transparency_demonstration_1.png" response = requests.get(url) img = Image.open(BytesIO(response.content)) img.show()
运行环境为 Python 3.9.4、requests 2.25.1,以上脚本可成功拉取并打开维基媒体托管的图片资源。
- 复现故障的问题代码:将脚本内的URL替换为Hogan域名的图片地址后,复用相同逻辑执行,
requests.get()方法无法返回有效响应,问题代码片段如下:
url = "https://www.hogan.com/fashion/hogan/HXW4350DM10NCR0RSZ/HXW4350DM10NCR0RSZ-02.png" response = requests.get(url) img = Image.open(BytesIO(response.content)) img.show()
排查方向
- 请求头拦截问题:多数商业站点会拦截未携带合法浏览器请求头的裸
requests请求,库默认生成的请求头会被站点WAF识别为爬虫流量,返回403、406类无效响应。可手动添加匹配目标站点规则的User-Agent、Referer等请求头参数后重试。 - SSL证书适配问题:老旧版本的requests库内置的证书链可能与商业站点的SSL证书配置不匹配,可捕获对应站点的证书验证报错,必要时升级最新版的
certifi依赖包。 - 防盗链规则拦截:部分电商站点会校验请求携带的
Referer字段,若请求来源不符合站点域名规则,会直接拒绝返回静态资源。 - 状态码定位:不要直接读取响应体内容,先打印
response.status_code、response.text查看接口实际返回的内容,定位是4xx类客户端错误还是5xx类服务端错误。
参考修复示例
请求时补充自定义请求头模拟正常浏览器访问行为,示例代码片段:
headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Referer": "https://www.hogan.com/" } response = requests.get(url, headers=headers, timeout=10)
注意:调试阶段不要随意设置
verify=False关闭SSL证书校验,该操作会引入中间人攻击风险,仅可用于临时排查问题。
内容的提问来源于stack exchange,提问作者notnotaaabbb
相关产品推荐
相关产品推荐

