带重定向的内部URL文件批量下载问题求助

核心问题分析 #

你遇到的是依赖JavaScript触发下载的URL，普通HTTP请求工具（download.file、httr等）无法执行页面中的JS逻辑，因此只能拿到需要手动点击Resume的静态页面；而browseURL仅能唤起本地浏览器（依赖人工交互），无法实现批量自动化操作。

可行的批量自动化方案 #

1. 使用无头浏览器模拟完整浏览器环境 #

这类工具可以模拟真实浏览器执行JS、点击按钮，实现全自动化下载，适配批量场景：

方案A：RSelenium

通过调用Chrome/Firefox的无头模式完成操作，示例代码：

library(RSelenium)

# 启动无头Chrome驱动（需匹配本地Chrome版本）
driver <- rsDriver(browser = "chrome", extraCapabilities = list(
  chromeOptions = list(
    args = c("--headless", "--disable-gpu"),
    prefs = list(
      "download.default_directory" = "你的本地下载路径",
      "download.prompt_for_download" = FALSE,
      "download.directory_upgrade" = TRUE
    )
  )
))
remDr <- driver[["client"]]

# 访问目标内部URL
remDr$navigate("你的内部文件URL")

# 定位并点击Resume按钮（需根据实际页面元素调整选择器，比如xpath/css）
resume_btn <- remDr$findElement(using = "css selector", value = "button:contains('Resume')")
resume_btn$clickElement()

# 根据文件大小设置等待时间，确保下载完成
Sys.sleep(8)

# 关闭驱动资源
remDr$close()
driver$server$stop()

方案B：playwright for R（轻量现代）

微软推出的自动化工具，对JS渲染支持更完善，示例代码：

library(playwright)

# 初始化playwright环境
pw <- playwright$install()
browser <- pw$chromium$launch(headless = TRUE, downloads_path = "你的本地下载路径")
page <- browser$new_page()

# 访问URL并等待页面加载稳定
page$goto("你的内部文件URL", wait_until = "networkidle")

# 点击Resume按钮（调整选择器匹配实际页面元素）
page$click("text=Resume")

# 等待下载完成并保存
download <- page$wait_for_download()
download$save_as("最终保存的文件路径")

# 释放资源
browser$close()
pw$stop()

2. 抓取真实下载接口（更高效） #

若不想使用浏览器自动化，可通过浏览器开发者工具抓取真实下载请求：

• 打开Chrome/Firefox开发者工具（F12），切换到「网络」标签
• 用browseURL打开目标URL，手动点击Resume按钮
• 在网络请求列表中找到真实下载请求（通常为GET/POST请求，响应类型匹配你的文件格式：png/csv/pdf）
• 复制该请求的URL、请求头（尤其是Cookie、Authorization等身份验证信息）
• 直接用httr发起请求下载：

library(httr)

# 替换为抓取到的真实下载接口和请求头
real_download_url <- "抓取到的真实下载URL"
auth_headers <- c(
  "Cookie" = "你的身份验证Cookie",
  "Authorization" = "Bearer xxx" # 如有身份验证需添加
)

# 发起请求并保存文件
response <- GET(real_download_url, add_headers(.headers = auth_headers))
writeBin(content(response, "raw"), "目标文件保存路径")

关于browseURL的说明 #

browseURL无法在批量模式下自动化运行，它仅能唤起本地默认浏览器打开URL，必须人工点击保存按钮，完全不适合批量脚本场景。

内容的提问来源于stack exchange，提问作者Satya