Jupyter批量下载图片链接时挂起 无报错且无法中断
Jupyter批量下载图片程序无响应的排查方案
故障表现
- 待下载URL列表共2466条,为去重后的有效链接
- 在Jupyter中运行下载代码约1分钟后程序直接挂起,既不继续遍历下载后续链接,也不抛出任何错误提示,连中断任务操作都无法响应
- 两次运行同一段代码,执行到挂起前的输出结果存在随机差异,无固定触发故障的特定URL
现有代码存在的核心问题
- 未设置网络请求超时阈值:代码使用
urllib.request.urlretrieve发起下载请求,该方法默认无超时限制,一旦遇到不响应的服务端连接(比如半开TCP连接、目标服务器丢包但不返回连接重置信号),程序会永久卡在等待响应的状态,这就是挂起的核心原因,也是无法中断任务的根源——此时程序阻塞在系统网络调用上,Python层面的KeyboardInterrupt信号有时甚至无法被捕获 - 异常捕获范围不全:最初的代码只捕获
HTTPError、URLError两类异常,网络超时、连接中断、本地文件写入报错这类常见异常都没被纳入捕获范围,一旦触发就会直接打断循环 - 日志节点不全:只在URL开始处理时打印日志,没有在请求发起、连接建立、下载完成各个节点记录执行状态,无法定位具体卡在哪个环节
- 去重逻辑性能冗余:生成URL列表时用
if i.strip() not in urls的判断,列表的in操作是O(n)时间复杂度,处理大列表时存在不必要的遍历开销
修复版可直接运行的代码
import os import urllib.request from urllib.error import HTTPError, URLError from random import randint # 基础配置 DOWNLOAD_TIMEOUT = 15 # 单条链接超时时间设为15秒 SAVE_DIR = "C:/Users/USER/Desktop/downloaded/" def random_with_N_digits(n): range_start = 10**(n-1) range_end = (10**n)-1 return randint(range_start, range_end) def download2(url, pathname): file_ext = os.path.splitext(url.split("/")[-1])[-1] filename = os.path.join(pathname, f"{random_with_N_digits(10)}{file_ext}") # 替换无超时限制的urlretrieve,增加超时控制 with urllib.request.urlopen(url, timeout=DOWNLOAD_TIMEOUT) as resp: with open(filename, "wb") as f: f.write(resp.read()) done = [] failed = [] # 优化去重逻辑,用集合做快速存在性判断 url_set = set() for raw_url in df.imgsrc: clean_url = raw_url.strip() if clean_url not in url_set: url_set.add(clean_url) urls = list(url_set) for idx, url in enumerate(urls): print(f"开始处理第{idx+1}/{len(urls)}条链接: {url}") try: download2(url, SAVE_DIR) done.append(url) print(f"下载完成: {url}") except (HTTPError, URLError, OSError, TimeoutError) as e: print(f"下载失败: {url}, 错误信息: {str(e)}") failed.append(url)
修复后的运行逻辑说明
- 15秒超时机制会强制断开所有无响应的连接,不会出现永久挂起的情况
- 扩大的异常捕获范围可以覆盖超时、文件写入错误、网络断开等所有常见运行错误,不会因为单个异常直接中断整个循环
- 集合去重的方式比列表判断效率更高,处理大列表时不会有冗余遍历开销
- 全节点的打印日志可以清晰看到程序执行进度,就算出现卡顿也能快速定位问题环节
内容的提问来源于stack exchange,提问作者A.Rahman Mahmoud
相关产品推荐
相关产品推荐

