如何展开包含空DataFrame的嵌套列表并生成带NA填充的结构化DataFrame

问题背景 #

我有一组嵌套列表格式的数据，每个子列表包含两个DataFrame，示例代码如下：

mylist <- list( 
  list( 
    p = data.frame( id = "01", stringsAsFactors = F ), 
    c = data.frame( text = c("one", "two"), from = c("A", "B"), stringsAsFactors = F ) 
  ), 
  list( 
    p = data.frame( id = "02", stringsAsFactors = F ), 
    c = data.frame( text = c("three", "four", "five"), from = c("C", "D", "E"), stringsAsFactors = F ) 
  ), 
  list( 
    p = data.frame( id = "03", stringsAsFactors = F ), 
    c = data.frame( text = logical(0), from = logical(0) ) 
  ) 
)

我需要将该嵌套列表展平为一个DataFrame，具体要求：

• 每行对应c DataFrame中的一条观测记录
• 添加一列存储对应上层p DataFrame中的id值
• 对于c DataFrame无观测的情况，用NA填充对应字段

期望输出如下：

df <- data.frame( 
  p.id = c("01", "01", "02", "02", "02", "03"), 
  c.text = c("one", "two", "three", "four", "five", NA), 
  c.from = c("A", "B", "C", "D", "E", NA) 
)
#   p.id c.text c.from
# 1   01    one      A
# 2   01    two      B
# 3   02  three      C
# 4   02   four      D
# 5   02   five      E
# 6   03   <NA>   <NA>

尝试过as.data.frame()、bind_rows()、jsonlite::flatten()、tidyr::unnest()以及data.table::rbindlist()等方法，但遇到空c DataFrame时会失效，比如mylist[[3]] %>% as.data.frame()无法正常运行，恳请帮助。

解决方案 #

我来给你分享两个可行的方案，分别基于tidyverse和data.table，都能完美处理空DataFrame的情况，完全符合你的需求：

方案一：基于tidyverse的实现 #

首先加载必要的工具包：

library(tidyverse)

然后定义一个处理单个子列表的函数，专门处理空c DataFrame的情况：

process_sub_list <- function(sub_list) {
  # 提取当前子列表的p.id
  current_id <- sub_list$p$id
  
  # 处理c数据框：如果为空，生成带NA的行；否则保留原数据并重命名列
  c_data <- if (nrow(sub_list$c) == 0) {
    data.frame(c.text = NA, c.from = NA, stringsAsFactors = FALSE)
  } else {
    sub_list$c %>% rename(c.text = text, c.from = from)
  }
  
  # 添加p.id列并调整列顺序
  c_data %>%
    mutate(p.id = current_id) %>%
    select(p.id, everything())
}

最后用map_dfr()遍历整个列表，自动合并结果：

final_df <- mylist %>% map_dfr(process_sub_list)

# 查看结果
print(final_df)
#   p.id c.text c.from
# 1   01    one      A
# 2   01    two      B
# 3   02  three      C
# 4   02   four      D
# 5   02   five      E
# 6   03   <NA>   <NA>

方案二：基于data.table的实现 #

如果你更习惯用data.table的高效处理方式，这个方案也能解决问题：

library(data.table)

# 定义处理函数
process_sub_dt <- function(sub_list) {
  current_id <- sub_list$p$id
  c_dt <- as.data.table(sub_list$c)
  
  # 处理空数据框
  if (nrow(c_dt) == 0) {
    c_dt <- data.table(c.text = NA_character_, c.from = NA_character_)
  } else {
    setnames(c_dt, c("text", "from"), c("c.text", "c.from"))
  }
  
  # 添加p.id列
  c_dt[, p.id := current_id][]
}

# 遍历并合并
final_dt <- rbindlist(lapply(mylist, process_sub_dt), fill = TRUE)
# 调整列顺序
setcolorder(final_dt, c("p.id", "c.text", "c.from"))

print(final_dt)
#    p.id c.text c.from
# 1:   01    one      A
# 2:   01    two      B
# 3:   02  three      C
# 4:   02   four      D
# 5:   02   five      E
# 6:   03   <NA>   <NA>

为什么之前的方法失效？ #

你之前尝试的unnest()或者as.data.frame()之所以在空DataFrame时出错，是因为这些函数默认不会处理空的嵌套数据，而我们的方案主动判断了c数据框的行数，为空时手动生成了带NA的行，从而避免了错误。

内容的提问来源于stack exchange，提问作者thieled