如何在R中将压缩包/文件夹内1000+同结构JSON读取为单个DataFrame？

嘿，这个问题我熟！处理大量结构相似的JSON文件转成单个DataFrame，其实有一套高效的流程，咱们分两种场景来聊：

如果你的1000多个JSON是打包在压缩包里的，不用手动解压，R里就能搞定：

• 第一步：先把压缩包解压到临时文件夹（避免占用本地多余空间），用基础包的unzip()函数就行：

  # 创建临时目录
  temp_dir <- tempdir()
  # 解压压缩包到临时目录，替换成你的压缩包路径
  unzip("your_json_archive.zip", exdir = temp_dir)
  

• 第二步：获取所有JSON文件的完整路径，用list.files()过滤出后缀为.json的文件：

  json_paths <- list.files(temp_dir, pattern = "\\.json$", full.names = TRUE)
  

• 第三步：批量读取并自动合并成DataFrame，这里强烈推荐用purrr::map_dfr()搭配jsonlite::fromJSON()——前者是高效的批量处理工具，后者能智能把JSON转成DataFrame，还会自动补全缺失字段为NA：

  library(jsonlite)
  library(purrr)
  
  combined_df <- map_dfr(json_paths, ~fromJSON(.x))
  

如果文件已经解压在文件夹里，步骤更简单，跳过解压直接来：

• 先指定你的JSON文件夹路径，然后获取所有JSON文件的路径：

  json_folder <- "path/to/your/json/folder"
  json_paths <- list.files(json_folder, pattern = "\\.json$", full.names = TRUE)
  

• 同样用map_dfr()批量读取合并，代码和上面第三步一样：

  combined_df <- map_dfr(json_paths, ~fromJSON(.x))
  

• 为什么不用rjson？对比下来，jsonlite的fromJSON()能直接把结构匹配的JSON转成DataFrame，而rjson返回的是列表，还要手动处理转换，效率低不少，所以优先选jsonlite。
• 怕内存不够？如果单个JSON文件特别大，可以分批次读取合并，或者用jsonlite::stream_in()来流式读取，不过1000个结构相似的小文件，map_dfr()基本够用。
• 想看到读取进度？可以搭配progressr包加个进度条，心里更有数：

  library(progressr)
  handlers(global = TRUE)
  
  with_progress({
    p <- progressor(along = json_paths)
    combined_df <- map_dfr(json_paths, ~{
      p() # 更新进度条
      fromJSON(.x)
    })
  })
  

内容的提问来源于stack exchange，提问作者Love Light