在R中从嵌套列表的多数据框提取指定变量统计值

我用R处理19个CSV文件导入生成的嵌套列表，每个列表元素是包含变量（如Temp.C.、Depth.m.等）统计值（min、q25、median、q75、max、mean、sd）的数据框。现在想批量提取所有数据集的同一变量（比如温度Temp.C.）的对应统计值用于绘图或统计检验，但目前只能单个提取，也搞不清这个列表的参数逻辑。

CSV示例与导入代码 #

Temp(A);    Density(B); Velocity(C)
21,54;      0,7;        1486,46
20,87;      0,76;       1484,42
20,34;      0,81;       1482,8
19,61;      0,81;       1480,5

导入代码：

data_files <- list.files("D:\\My\\data\\pathway") 

生成嵌套列表的代码 #

lst1 <- map(data_files, ~ {
  data1 <- read.csv2(paste0("D:\\My\\data\\pathway\\", .x))
  df.sum <- data1 %>%
    select(Temperature(A), Density(B), Velocity(C)) %>%
    summarise_each(funs(min = min, # 对应示例中的Min(1)
                        q25 = quantile(., 0.25), # Max(2)
                        median = median, # Mean(3)
                        q75 = quantile(., 0.75), # St.Dev.(4)
                        max = max,
                        mean = mean, 
                        sd = sd))
  df.stats.tidy <- df.sum %>% gather(stat, val) %>%
    separate(stat, into = c("var", "stat"), sep = "_") %>%
    spread(stat, val) %>%
    select(var, min, q25, median, q75, max, mean, sd) 
  return(df.stats.tidy)
})
lst1

数据结构dput结果 #

> dput(lst1[1:2])
list(structure(list(var = c("Conduct.mS.cm.", "Depth.m.", "Salinity.psu.", 
"Sound.Velocity.m.sec.", "Temp.C."), min = c(0, -1.19, 0, 1402.98, 
-1.48), q25 = c(0.01, -0.91, 0.01, 1412.835, -0.51), median = c(9.225, 
-0.78, 9.885, 1421.785, 0.85), q75 = c(25.575, 39.9725, 31.0825, 
1440.7175, 2.09), max = c(26.28, 143.76, 32.02, 1453.52, 11.81
), mean = c(11.6531756756757, 23.0201351351351, 13.9187162162162, 
1426.98621621622, 1.26290540540541), sd = c(11.8954355870503, 
38.217076230762, 14.4467518784427, 14.8016328574063, 2.53744347569587
)), class = "data.frame", row.names = c(NA, -5L)), structure(list(
    var = c("Conduct.mS.cm.", "Depth.m.", "Salinity.psu.", "Sound.Velocity.m.sec.", 
    "Temp.C."), min = c(0, -2.17, 0, 1401.46, -1.44), q25 = c(0, 
    -1.14, 0, 1404.25, 0.0125), median = c(0.13, -1.08, 0.115, 
    1413.215, 0.49), q75 = c(25.035, 6.3225, 30.3525, 1440.2625, 
    1.53), max = c(26.35, 129.54, 32.11, 1486.46, 21.54), mean = c(7.78810344827586, 
    17.3289655172414, 9.34528735632184, 1424.01396551724, 2.13511494252874
    ), sd = c(11.6263191741139, 36.9663620576755, 14.0549552563496, 
    22.6029377552219, 5.01839273011273)), class = "data.frame", row.names = c(NA, 
-5L)))

解决方案 #

1. 批量提取指定变量的统计值 #

用purrr包的map_dfr结合筛选，把所有列表元素里的目标变量行提取出来，同时添加数据集标识（比如文件名）：

library(tidyverse)

# 提取所有数据集的Temp.C.统计值，添加序号标识
temp_stats <- map_dfr(lst1, ~ filter(.x, var == "Temp.C."), .id = "dataset_id")
# 将序号替换为原始文件名，方便区分数据集
temp_stats <- temp_stats %>% 
  mutate(dataset_id = data_files[as.integer(dataset_id)])

得到的temp_stats是标准数据框，每一行对应一个数据集的Temp.C.全量统计值，可直接用于绘图或统计检验。

2. 列表结构说明 #

你的lst1是长度为19的列表，每个元素是一个数据框：

• var列存储变量名称（如Temp.C.、Depth.m.）
• 其余列是对应变量的各类统计量
• 每个数据框的行数等于变量总数（从示例看是5个变量）

3. 灵活提取多变量/统计量（可选） #

先把整个嵌套列表合并为一个大的 tidy 数据框，再按需筛选：

all_stats <- map_dfr(lst1, ~ .x, .id = "dataset_id") %>%
  mutate(dataset_id = data_files[as.integer(dataset_id)])

# 提取所有变量的均值统计值
all_means <- all_stats %>% select(dataset_id, var, mean)

# 筛选Depth.m.的所有统计值
depth_stats <- all_stats %>% filter(var == "Depth.m.")

内容的提问来源于stack exchange，提问作者Feli