如何用lapply或purrr::map实现层级递进的列表数据处理

问题场景 #

给定包含不同层级（如L1、L2）的数据框列表，需按以下规则递进计算：

• L1层级数据框：每行计算x + y的结果，存入result列
• L2层级数据框：先匹配所有L1层级的result到对应id，再计算x + y + result_L1的总和，存入result列
• 要求代码不能硬编码层级，需支持扩展更多层级（如L3、L4等）

输入数据如下：

df1 <- data.frame(id = 1:3,
                  x = 1:3,
                  y = 4:6,
                  level = rep("L1", 3))

df2 <- data.frame(id = 4:6,
                  x = 2:4,
                  y = 5:7,
                  level = rep("L1", 3))

df3 <- data.frame(id = 1:6,
                  x = 1:6,
                  y = 7:13,
                  level = rep("L2", 6))

my_list <- list(df1, df2, df3)

解决方案 #

通过按层级分组处理+累积低层级结果的方式实现，借助purrr和dplyr包简化操作：

步骤1：加载依赖包 #

library(purrr)
library(dplyr)

步骤2：定义层级计算规则 #

为每个层级定义对应的处理函数，后续扩展层级只需新增规则即可：

level_rules <- list(
  # L1层级：计算x+y
  L1 = function(df) {
    df %>% mutate(result = x + y)
  },
  # L2层级：合并L1结果后计算x+y+result_L1
  L2 = function(df, lower_results) {
    # 合并所有低层级的结果数据框
    lower_result_df <- bind_rows(lower_results) %>% select(id, result_L1 = result)
    df %>%
      left_join(lower_result_df, by = "id") %>%
      mutate(result = x + y + result_L1)
  }
)

步骤3：按层级递进处理数据 #

# 给输入列表命名，方便后续追踪
named_list <- set_names(my_list, paste0("df", seq_along(my_list)))
# 按层级对数据框分组
grouped_by_level <- split(named_list, map_chr(named_list, ~.$level[1]))

# 按层级升序排序（确保从低到高处理）
sorted_levels <- sort(names(grouped_by_level))
# 初始化累积结果列表，存储各层级处理后的结果
cumulative_results <- list()

# 遍历每个层级处理
for (level in sorted_levels) {
  current_dfs <- grouped_by_level[[level]]
  
  if (level == sorted_levels[1]) {
    # 最低层级，无需依赖其他结果
    processed_dfs <- map(current_dfs, level_rules[[level]])
  } else {
    # 高层级，获取所有低于当前层级的结果
    lower_levels <- sorted_levels[sorted_levels < level]
    lower_results <- cumulative_results[lower_levels] %>% flatten() %>% bind_rows()
    # 处理当前层级的所有数据框
    processed_dfs <- map(current_dfs, ~level_rules[[level]](., lower_results))
  }
  
  cumulative_results[[level]] <- processed_dfs
}

# 按输入列表的顺序整理最终结果
final_result <- map(named_list, function(df) {
  level <- df$level[1]
  df_name <- names(df)
  cumulative_results[[level]][[df_name]]
})

步骤4：验证结果 #

查看处理后的结果，与预期一致：

# 查看L1的result1
final_result[[1]]
#>   id x y level result
#> 1  1 1 4    L1      5
#> 2  2 2 5    L1      7
#> 3  3 3 6    L1      9

# 查看L1的result2
final_result[[2]]
#>   id x y level result
#> 1  4 2 5    L1      7
#> 2  5 3 6    L1      9
#> 3  6 4 7    L1     11

# 查看L2的result3
final_result[[3]]
#>   id x  y level result_L1 result
#> 1  1 1  7    L2         5     13
#> 2  2 2  8    L2         7     17
#> 3  3 3  9    L2         9     21
#> 4  4 4 10    L2         7     21
#> 5  5 5 11    L2         9     25
#> 6  6 6 12    L2        11     29

扩展性说明 #

如果需要添加更高层级（如L3），只需在level_rules中新增对应处理函数即可，例如：

level_rules$L3 <- function(df, lower_results) {
  lower_result_df <- bind_rows(lower_results) %>% select(id, result_L2 = result)
  df %>%
    left_join(lower_result_df, by = "id") %>%
    mutate(result = x + y + result_L2)
}

内容的提问来源于stack exchange，提问作者deschen