R语言批量下载图片会话冻结问题及保存路径配置求助

我来帮你搞定这个批量下载图片的问题，先聊聊当前代码里的几个核心问题，再给你一套稳定的解决方案：

1. 不合理的CPU时间限制：setTimeLimit(5)给每个下载任务设置了5秒CPU时间上限，批量处理时R会话的资源占用会快速累加，很容易触发这个限制导致崩溃，这也是你收到reached CPU time limit错误的直接原因。
2. 缺乏错误处理：没有容错机制，一旦某条URL下载失败（比如链接失效、网络波动），整个任务就会卡住甚至冻结R会话。
3. 未指定目标路径：basename(x)默认将图片保存到当前工作目录，没有指向你想要的路径。
4. 单线程无进度跟踪：批量处理15000条URL时，无法实时看到进度，也没有中断后恢复的机制。

1. 先准备目标保存路径 #

首先确保你要保存图片的路径存在，不存在的话自动创建：

# 定义你的目标路径
target_dir <- "/Users/name/Desktop/M2/Mémoire M2/Scrapingtest/photos"

# 如果路径不存在，递归创建（包括嵌套的子目录）
if (!dir.exists(target_dir)) {
  dir.create(target_dir, recursive = TRUE)
}

2. 优化下载函数（加入错误处理与重试） #

重写下载函数，去掉不合理的CPU时间限制，改用网络超时，同时加入重试和跳过已下载文件的逻辑：

dlphoto <- function(x, target_dir, max_retries = 3) {
  # 拼接完整的保存路径
  dest_path <- file.path(target_dir, basename(x))
  
  # 如果文件已经存在，直接跳过，避免重复下载
  if (file.exists(dest_path)) {
    message(paste("[跳过] 文件已存在：", dest_path))
    return(TRUE)
  }
  
  # 重试机制：最多重试3次
  for (attempt in 1:max_retries) {
    tryCatch({
      message(paste("[下载中] 第", attempt, "次尝试：", x))
      # 设置网络超时为30秒（替代CPU时间限制，更合理）
      download.file(x, destfile = dest_path, timeout = 30, mode = "wb")
      message(paste("[成功] 已保存：", dest_path))
      return(TRUE)
    }, error = function(e) {
      message(paste("[失败] 第", attempt, "次尝试出错：", e$message))
      # 如果是最后一次尝试，记录失败信息
      if (attempt == max_retries) {
        message(paste("[放弃] 所有尝试失败：", x))
        return(FALSE)
      }
      # 重试前等待1秒，避免频繁请求
      Sys.sleep(1)
    })
  }
}

3. 高效批量处理（带进度跟踪） #

用purrr包的walk函数来批量处理，配合进度条实时查看进度，同时控制请求频率避免被网站封禁：

# 加载需要的包
library(purrr)
library(progress)

# 假设你的URL列表是url_list（替换成你自己的列表）
# url_list <- c("https://example.com/photo1.jpg", "https://example.com/photo2.jpg", ...)

# 创建进度条，直观看到下载进度
pb <- progress_bar$new(
  total = length(url_list),
  format = "下载进度: [:bar] :percent 剩余时间: :eta"
)

# 批量处理每个URL
walk(url_list, function(x) {
  dlphoto(x, target_dir)
  pb$tick() # 更新进度条
  Sys.sleep(0.3) # 控制请求间隔，避免被网站IP封禁
})

4. 可选：并行处理（谨慎使用） #

如果你的网络稳定，且网站没有严格的反爬限制，可以用并行处理提升下载速度，但注意不要设置过多的并行线程：

library(future.apply)

# 设置并行线程数（建议等于你的CPU核心数，比如4）
plan(multisession, workers = 4)

# 并行批量下载（注意适当增加等待时间）
future_walk(url_list, function(x) {
  dlphoto(x, target_dir)
  Sys.sleep(0.5) # 并行时增加间隔，降低封禁风险
})

额外实用技巧 #

• 记录失败的URL：可以把下载失败的URL保存到文件，后续单独处理：

  # 收集失败的URL
  failed_urls <- map_lgl(url_list, ~dlphoto(.x, target_dir)) %>% 
    {url_list[!.]}
  
  # 保存到文件
  writeLines(failed_urls, "failed_urls.txt")
  

• 定期备份进度：每次运行前先读取已下载的文件名，跳过这些URL，避免重启后重复下载。

内容的提问来源于stack exchange，提问作者Mouloune van Muzha