使用R的httr包发送POST请求下载文件时出现响应与文件为空的问题
R脚本复现网页Excel下载功能的问题排查
我正在复现Stack Overflow上「在网页上使用R“点击”文件下载按钮」问题的解决方案。
可正常运行、成功获取搜索结果页面内容的代码如下:
library(httr) res <- POST("http://volcano.si.edu/database/search_eruption_results.cfm", body = list(`eruption_category[]` = "Confirmed Eruption", `country[]` = "Antarctica"), encode = "form") content(res)
按照页面交互逻辑,“下载结果为Excel”按钮对应的接口调用无法正常运行:接口返回的响应内容与生成的本地文件均为空,即便移除write_disk配置项,问题依旧存在。
对应下载逻辑的代码如下:
library(httr) res <- POST("http://volcano.si.edu/database/search_eruption_excel.cfm", body = list(`eruption_category[]` = "Confirmed Eruption", `country[]` = "Antarctica"), encode = "form", write_disk("eruptions.xls")) content(res) # 运行后返回NULL
问题根因
- 该站点的Excel下载接口采用会话绑定的查询逻辑,不会处理请求体中直接提交的表单参数。首次提交搜索条件时,服务器会通过响应头返回会话Cookie,将查询对应的结果临时存储在服务器端,和该Cookie形成一一绑定关系;后续调用下载接口时,服务器仅通过请求携带的Cookie匹配对应的已存储查询结果,不会重新解析请求体中的表单字段。
- httr默认发起的所有请求都是独立的无状态会话,第二次调用下载接口时,没有携带第一次搜索请求获取到的会话Cookie,服务器找不到对应的查询上下文,就会返回空响应。
- 代码中
content(res)返回NULL属于正常现象:下载接口返回的是二进制格式的Excel文件,content()默认按文本格式解析二进制流时就会返回空值,并不是请求未获取到有效数据,核心故障点还是会话不匹配导致返回空文件。
可直接运行的解决方案
使用httr的共享请求句柄绑定同一会话,所有通过该句柄发起的请求会自动管理、携带对应会话的Cookie,即可正常获取下载文件:
library(httr) # 创建绑定域名的共享请求句柄,自动管理会话Cookie session <- handle("http://volcano.si.edu/") # 同会话下提交搜索条件,服务器自动关联查询结果与当前会话 POST("http://volcano.si.edu/database/search_eruption_results.cfm", handle = session, body = list(`eruption_category[]` = "Confirmed Eruption", `country[]` = "Antarctica"), encode = "form") # 同会话下请求下载接口,自动携带会话Cookie匹配存储的查询结果 res <- POST("http://volcano.si.edu/database/search_eruption_excel.cfm", handle = session, write_disk("eruptions.xls", overwrite = TRUE))
注意:如果需要在R中读取下载的Excel内容,需指定
content(res, as = "raw")解析二进制流,使用默认文本解析模式无法正常读取二进制文件。
内容的提问来源于stack exchange,提问作者pajonk
相关产品推荐
相关产品推荐

