You need to enable JavaScript to run this app. Jupyter批量下载图片链接时挂起 无报错且无法中断
优惠活动
大模型
产品
解决方案
定价
更多

Jupyter批量下载图片链接时挂起 无报错且无法中断

Jupyter批量下载图片程序无响应的排查方案

故障表现

  • 待下载URL列表共2466条,为去重后的有效链接
  • 在Jupyter中运行下载代码约1分钟后程序直接挂起,既不继续遍历下载后续链接,也不抛出任何错误提示,连中断任务操作都无法响应
  • 两次运行同一段代码,执行到挂起前的输出结果存在随机差异,无固定触发故障的特定URL

现有代码存在的核心问题

  • 未设置网络请求超时阈值:代码使用urllib.request.urlretrieve发起下载请求,该方法默认无超时限制,一旦遇到不响应的服务端连接(比如半开TCP连接、目标服务器丢包但不返回连接重置信号),程序会永久卡在等待响应的状态,这就是挂起的核心原因,也是无法中断任务的根源——此时程序阻塞在系统网络调用上,Python层面的KeyboardInterrupt信号有时甚至无法被捕获
  • 异常捕获范围不全:最初的代码只捕获HTTPError、URLError两类异常,网络超时、连接中断、本地文件写入报错这类常见异常都没被纳入捕获范围,一旦触发就会直接打断循环
  • 日志节点不全:只在URL开始处理时打印日志,没有在请求发起、连接建立、下载完成各个节点记录执行状态,无法定位具体卡在哪个环节
  • 去重逻辑性能冗余:生成URL列表时用if i.strip() not in urls的判断,列表的in操作是O(n)时间复杂度,处理大列表时存在不必要的遍历开销

修复版可直接运行的代码

import os
import urllib.request
from urllib.error import HTTPError, URLError
from random import randint

# 基础配置
DOWNLOAD_TIMEOUT = 15  # 单条链接超时时间设为15秒
SAVE_DIR = "C:/Users/USER/Desktop/downloaded/"

def random_with_N_digits(n):
    range_start = 10**(n-1)
    range_end = (10**n)-1
    return randint(range_start, range_end)

def download2(url, pathname):
    file_ext = os.path.splitext(url.split("/")[-1])[-1]
    filename = os.path.join(pathname, f"{random_with_N_digits(10)}{file_ext}")
    # 替换无超时限制的urlretrieve,增加超时控制
    with urllib.request.urlopen(url, timeout=DOWNLOAD_TIMEOUT) as resp:
        with open(filename, "wb") as f:
            f.write(resp.read())

done = []
failed = []
# 优化去重逻辑,用集合做快速存在性判断
url_set = set()
for raw_url in df.imgsrc:
    clean_url = raw_url.strip()
    if clean_url not in url_set:
        url_set.add(clean_url)
urls = list(url_set)

for idx, url in enumerate(urls):
    print(f"开始处理第{idx+1}/{len(urls)}条链接: {url}")
    try:
        download2(url, SAVE_DIR)
        done.append(url)
        print(f"下载完成: {url}")
    except (HTTPError, URLError, OSError, TimeoutError) as e:
        print(f"下载失败: {url}, 错误信息: {str(e)}")
        failed.append(url)

修复后的运行逻辑说明

  • 15秒超时机制会强制断开所有无响应的连接,不会出现永久挂起的情况
  • 扩大的异常捕获范围可以覆盖超时、文件写入错误、网络断开等所有常见运行错误,不会因为单个异常直接中断整个循环
  • 集合去重的方式比列表判断效率更高,处理大列表时不会有冗余遍历开销
  • 全节点的打印日志可以清晰看到程序执行进度,就算出现卡顿也能快速定位问题环节

内容的提问来源于stack exchange,提问作者A.Rahman Mahmoud

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 19:15:01