如何加速R语言中解析大型JSON的嵌套for循环？

问题背景 #

你用嵌套for循环解析复杂大型JSON时速度极慢，小文件（结果行数<1000）没问题，但百万级数据耗时极久，想找加速方法，不确定apply系列是否适用。

你的原始代码：

for(row_n1 in 1:length(json_data$in_network)){
  in_network1=json_data$in_network[[row_n1]]
  in_network1[["negotiated_rates"]]=NULL
  in_network_df=as.data.frame(in_network1)
  
  for(row_n2 in 1:length(json_data$in_network[[row_n1]]$negotiated_rates)){
    reporting=NULL
    for(row_n3 in 1:length(json_data$in_network[[row_n1]]$negotiated_rates[[row_n2]]$provider_groups)){
      npi_df=as.data.frame(toString(json_data$in_network[[row_n1]]$negotiated_rates[[row_n2]]$provider_groups[[row_n3]]$npi))%>% set_names(nm = "npi")
      tin_df=as.data.frame(t((json_data$in_network[[row_n1]]$negotiated_rates[[row_n2]]$provider_groups[[row_n3]]$tin)))
      df=merge(npi_df,tin_df)
      df=merge(in_network1,df)
      reporting=rbind(reporting,df)
    }
    negotiated_prices_df=NULL
    for(row_n3 in 1:length(json_data$in_network[[row_n1]]$negotiated_rates[[row_n2]]$negotiated_prices)){
      df=as.data.frame(t((json_data$in_network[[row_n1]]$negotiated_rates[[row_n2]]$negotiated_prices[[row_n3]])))
      negotiated_prices_df=bind_rows(negotiated_prices_df,df)
    }
    r=merge(reporting,negotiated_prices_df)
    result=bind_rows(result,r)
    
  }
  if(row_n1%% 100 ==0)
    print(paste (row_n1,Sys.time() ,sep="====="))
}  

l=json_data
l$in_network=NULL

result=merge(as.data.frame(l),result)

核心性能瓶颈 #

代码慢的主要原因：

• 循环内反复用rbind/bind_rows动态拼接数据框，每次操作都会拷贝整个现有数据，百万级数据下内存开销爆炸
• 多层嵌套for循环完全没利用R的向量运算优势，逐行处理效率极低
• 频繁的merge操作增加了不必要的计算量

加速方案 #

1. 用purrr映射函数替代嵌套for循环

purrr的map_dfr系列函数可以高效遍历列表并一次性拼接成数据框，避免循环内反复绑定：

library(purrr)
library(dplyr)

# 定义单个in_network项的处理函数
process_network <- function(network) {
  # 提取基础信息（去掉negotiated_rates）
  base_info <- network %>% 
    select(-negotiated_rates) %>%
    as_tibble()
  
  # 处理每一组negotiated_rates
  map_dfr(network$negotiated_rates, function(rate) {
    # 展开provider_groups的npi和tin
    providers <- map_dfr(rate$provider_groups, function(provider) {
      tibble(
        npi = toString(provider$npi),
        tin_type = provider$tin$type,
        tin_value = provider$tin$value
      )
    })
    
    # 展开negotiated_prices
    prices <- map_dfr(rate$negotiated_prices, as_tibble)
    
    # 关联所有数据（用cross_join替代多次merge，更直接）
    base_info %>%
      cross_join(providers) %>%
      cross_join(prices)
  })
}

# 批量处理所有in_network项
network_result <- map_dfr(json_data$in_network, process_network)

# 关联顶层其他信息
top_info <- json_data %>% 
  select(-in_network) %>%
  as_tibble()

final_result <- top_info %>% cross_join(network_result)

2. 直接用JSON解析工具扁平化数据

用jsonlite的flatten = TRUE参数直接解析嵌套JSON为扁平结构，跳过手动循环：

library(jsonlite)
library(dplyr)

# 直接解析并扁平化JSON
flat_json <- fromJSON("your_json_file.json", flatten = TRUE)

# 提取in_network的扁平数据
network_flat <- flat_json$in_network

# 处理剩余嵌套字段（如果flatten没完全处理）
# 结合purrr进一步拆分provider_groups和negotiated_prices即可

3. 预分配内存（如果坚持用循环）

如果一定要保留循环，提前预估结果数据框的行数和列数，预分配内存避免动态扩容：

# 先预估总条数
total_rows <- sum(map_int(json_data$in_network, function(x) {
  sum(map_int(x$negotiated_rates, function(y) {
    length(y$provider_groups) * length(y$negotiated_prices)
  }))
}))

# 预分配空数据框
result <- data.frame(matrix(nrow = total_rows, ncol = 10)) # 替换为实际列数
colnames(result) <- c("列名1", "列名2", ...) # 替换为实际列名

# 循环中直接赋值到对应行
row_idx <- 1
for(row_n1 in 1:length(json_data$in_network)){
  # 省略中间处理逻辑，得到子数据框df后
  result[row_idx:(row_idx + nrow(df) - 1), ] <- df
  row_idx <- row_idx + nrow(df)
}

关键注意点 #

• 尽量避免在循环内修改全局数据框，改用列表存储子结果，最后一次性拼接
• 用tibble替代data.frame，处理速度更快，内存占用更合理
• 减少不必要的merge，能直接拼接列就不要用merge

内容的提问来源于stack exchange，提问作者T_R