是否存在可从GitHub仓库在线批量读取CSV并合并的R函数?
批量在线读取目标GitHub目录CSV并生成合并数据框的实现方法
可行性说明
现有R生态的成熟函数组合,完全可以实现不落地本地存储、批量在线读取目标目录下所有CSV、自动完成行合并的需求,最终生成的合并数据框可直接保存在当前R运行环境中开展后续计算,无需手动逐次调用rbind()完成拼接。
核心实现逻辑
- 自动拉取目标目录下的文件清单:通过GitHub的公开目录接口,批量获取该路径下所有文件的元信息,筛选后缀为
.csv的条目,直接提取接口返回的可在线访问的raw源链接,不需要手动整理单个文件的路径。 - 在线批量读取CSV内容:对生成的raw链接列表逐一遍历,调用支持在线源读取的CSV解析函数直接拉取文件内容,不需要先把文件下载到本地磁盘。
- 自动完成行合并:读取环节内置行合并逻辑,兼容不同CSV的字段顺序差异、字段值类型差异,避免合并过程报错。
参考实现代码
# 加载依赖包 library(httr) library(dplyr) library(purrr) library(readr) # 1. 获取目标目录下所有CSV的raw访问链接 api_endpoint <- "目标目录对应的GitHub公开API路径" dir_content <- content(GET(api_endpoint)) csv_links <- unlist( map(dir_content, ~ifelse(grepl("\\.csv$", .x$name), .x$download_url, NA)) ) |> na.omit() # 2. 在线批量读取并合并为单个内存中的dataframe merged_covid_data <- map_dfr(csv_links, read_csv)
注意事项
- 上述流程执行完成后,生成的
merged_covid_data会直接存储在当前R运行环境中,可直接用于后续统计计算,全程无本地文件写入操作。 - 使用
map_dfr()替代基础rbind()时,会自动统一不同文件的字段类型,不会出现基础rbind()常见的因子变量转换错误、字段缺失导致的合并失败问题,执行效率也更高。
内容的提问来源于stack exchange,提问作者Giulio Mario Martena
相关产品推荐
相关产品推荐

