如何用R提取JSON中的嵌套关系数据表并解决相关报错？

1. 加载并理清JSON结构 #

先保留嵌套结构加载，避免自动扁平化引发的问题，再确认层级分布：

library(jsonlite)
library(tidyverse)

# 加载时不自动扁平化嵌套列表，保留原始结构
json_raw <- fromJSON("https://individual.carefirst.com/carefirst-resources/machine-readable/Provider_Med_5.json", simplifyVector = FALSE)

# 查看顶层结构，定位主数据和嵌套子表的字段（比如entry、pricing类字段）
str(json_raw, max.level = 2)

2. 生成带主键的主表 #

将顶层主数据转换为数据框，添加自增主键作为主表的primary key：

# 替换为你实际找到的主表字段，比如json_raw$entry
main_table <- bind_rows(json_raw$entry) %>%
  mutate(primary_key = row_number())

3. 拆分子表并关联外键 #

针对嵌套子表空值导致的下标越界问题，用purrr工具逐个处理，同时绑定主表主键作为外键：

# 替换pricing为你实际的嵌套子表列名
child_tables <- map2_dfr(
  main_table$primary_key,
  main_table$pricing,
  function(pk, kid_data) {
    # 遇到空的子表时，返回仅含外键的空行，避免报错
    if (is.null(kid_data) || length(kid_data) == 0) {
      return(tibble(foreign_key = pk))
    }
    # 非空子表转换为数据框，添加外键和子表自身的主键
    bind_rows(kid_data) %>%
      mutate(
        foreign_key = pk,
        child_pk = row_number()
      )
  }
)

4. 导出适合SQL的CSV #

直接导出即可，将空值设为""适配SQL导入规则；大文件推荐用data.table提升导出速度：

# 基础导出方式
write_csv(main_table, "main_provider.csv", na = "")
write_csv(child_tables, "pricing_details.csv", na = "")

# 超大文件用此方法
library(data.table)
fwrite(main_table, "main_provider.csv", na = "")
fwrite(child_tables, "pricing_details.csv", na = "")

常见问题解决 #

• 下标越界报错：根源是部分主行对应的子表为空，通过空值判断逻辑跳过空列表访问即可。
• 未实现列表错误：加载JSON时关闭自动扁平化，用simplifyVector = FALSE保留原始结构，再手动转换数据框。
• 超大JSON处理：用stream_in逐行加载，避免内存溢出：

json_stream <- stream_in(file("https://individual.carefirst.com/carefirst-resources/machine-readable/Provider_Med_5.json"))

内容的提问来源于stack exchange，提问作者KevToczy