使用urllib.request下载特定URL图片速度极慢的原因咨询

针对你遇到的特定URL下载缓慢的问题，主要有这几个可能的原因：

• 服务器端限流策略：该目标服务器可能对非浏览器标识的请求做了带宽限制。urllib.request默认发送的请求头里没有模拟浏览器的User-Agent信息，服务器识别出这是脚本请求后，故意降低了单连接的传输速率，甚至加入了延迟机制。
• 网络链路质量问题：你的网络到data.cyber.org.il服务器的路由存在绕路、中间节点拥堵或丢包的情况，导致数据传输的往返延迟过高，哪怕是图片文件，下载速度也被拖慢。
• 下载方式的局限性：你的代码是一次性把整个图片文件读入内存后再写入本地，没有采用分块下载的方式。如果网络连接不稳定，这种一次性读取的方式容易因为重试、等待完整数据而拉长总耗时。

简单优化方案 #

你可以尝试给请求添加浏览器标识的请求头，同时改用分块读取写入的方式，能一定程度上改善下载速度：

import urllib.request

URL = "https://data.cyber.org.il/python/logpuzzle/p-bbjb-bbia.jpg"
FILENAME = r'c:\networks\work\image1.jpg'

# 添加模拟浏览器的请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'}
req = urllib.request.Request(URL, headers=headers)

with urllib.request.urlopen(req) as response:
    # 分块读取写入，每次处理1024字节
    with open(FILENAME, 'wb') as output_file:
        while chunk := response.read(1024):
            output_file.write(chunk)

内容的提问来源于stack exchange，提问作者maya