如何在R中直接下载联合国难民署(UNHCR)公开移民相关CSV数据
问题根源
- 你复制的按钮链接包含前端统计标识
#_ga,仅为页面跳转的临时地址,并非真实的CSV数据接口 - 直接使用
download.file发起请求时,默认请求头不符合UNHCR API的要求,接口会返回错误页面而非数据文件
两种可行解决方案
方法1:用httr包构造合规请求
该方法适配你自定义的筛选条件,灵活性更高:
# 先安装依赖包 install.packages("httr") library(httr) # 构造请求 resp <- GET( url = "https://api.unhcr.org/population/v1/population/", query = list( download = "true", # 以下参数可根据你在网页上勾选的筛选条件调整,和网页筛选值保持一致即可 yearFrom = 2010, yearTo = 2023 ), add_headers( "Accept" = "text/csv", "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" ) ) # 请求成功则写入文件 if (http_type(resp) == "text/csv") { writeBin(content(resp, "raw"), con = "C:/Users/User/Documents/Work/Data/DataScraping/Test/unhcr_data.csv") } else { stop(paste("请求失败,返回内容类型:", http_type(resp))) }
如果需要添加更多筛选参数,可以打开网页的开发者工具,在「网络」标签里找到你点击下载时触发的population接口请求,直接复制接口的query参数到上面的query列表里即可。
方法2:用UNHCR官方R包拉取数据
UNHCR官方提供了专属R包,不需要自行拼接接口参数,操作更简单:
# 安装官方包 install.packages("unhcrcr") library(unhcrcr) # 拉取指定范围的人口统计数据,可按需调整参数 pop_data <- get_population(year = 2010:2023) # 导出为CSV文件 write.csv(pop_data, "C:/Users/User/Documents/Work/Data/DataScraping/Test/unhcr_data.csv", row.names = FALSE)
内容的提问来源于stack exchange,提问作者silent_hunter
相关产品推荐
相关产品推荐

