如何更高效地将API返回的多层嵌套列表转为R数据框？

需求：从API获取的多层嵌套R列表中提取need*系列变量，同时保留dont_need_value中的text字段，去除无用数据，替代现有繁琐的处理流程。

示例嵌套列表 #

obj = list(
  list(
    dontneed1 = "oh well",
    dontneed2 = "doesnt matter",
    values = list(
      need1 = list(list(value = "1231", 
                        text = "abc1")),
      need2 = "1232",
      need3 = "1/1/2023",
      dont_need_value = list(list(value = "12", text = "abc2")), # 需要保留text字段
      need5 = list(list(value = "1234", text = "abc3")),
      need6 = list()
    )
  ),
  list(
    dontneed3 = "oh well",
    dontneed4 = "no thank you",
    values = list(
      need1 = list(list(value = "1235",
                        text = "abc4")),
      need2 = "1236",
      need3 = "1/2/2023",
      dont_need_value = list(list(value = "12", text = "abc4")), # 需要保留text字段
      need5 = list(list(value = "1238", text = "abc5")),
      need6 = list()
    )
  )
)

优化方案1：tidyverse管道式处理 #

利用purrr::map_dfr直接完成列表到数据框的行绑定，结合tidyr::hoist精准提取嵌套字段，一步到位完成数据清洗：

library(tidyverse)

df_clean <- map_dfr(obj, ~ .x$values, .id = "element_number") %>%
  # 从嵌套列表中提取指定字段并命名
  hoist(
    need1, 
    need1_value = "value", 
    need1_text = "text",
    dont_need_value, 
    dont_need_text = "text",
    need5,
    need5_value = "value",
    need5_text = "text"
  ) %>%
  # 仅保留需要的列，直接排除无用字段
  select(
    element_number,
    need2, need3,
    starts_with("need1_"), starts_with("need5_"),
    dont_need_text
  ) %>%
  # 将空列表转为NA（按需选择）
  mutate(across(where(is.list), ~ ifelse(length(.x) == 0, NA_character_, .x)))

优势： #

• 代码逻辑连贯，通过管道一步完成转换、提取、筛选
• hoist避免了多次unnest导致的行膨胀，无需后续过滤无效行
• 自动处理缺失值，结果更规整

优化方案2：data.table高效处理 #

如果习惯使用data.table，可以用transpose快速提取嵌套列表元素，效率更高：

library(data.table)
library(purrr)

# 先将values列表转为data.table，添加行号
dt_clean <- rbindlist(map(obj, ~ .x$values), idcol = "element_number")

# 提取嵌套字段并生成新列
dt_clean[, c("need1_value", "need1_text") := transpose(need1)]
dt_clean[, dont_need_text := transpose(dont_need_value)$text]
dt_clean[, c("need5_value", "need5_text") := transpose(need5)]

# 删除无用的原嵌套列
dt_clean[, c("need1", "dont_need_value", "need5", "need6") := NULL]

优势： #

• data.table的赋值操作速度快，适合处理大规模数据
• 代码简洁，直接针对嵌套字段提取，逻辑清晰

内容的提问来源于stack exchange，提问作者Dre Day