求高效重塑R语言DataFrame的优化方案（大数据集适用）

问题背景 #

现有如下结构的R数据框holdc：

holdc
     
  country_n popClass_n org   P50M   P50L   P50U   P95M   P95L  P95U  P99M   P99L  P99U P99_9M P99_9L P99_9U
1   Austria     Adults ADG 0.0445 0.0392 0.0512 0.0914 0.0753 0.134 0.134 0.1010 0.230  0.152  0.115  0.258
2   Belgium     Adults ADG 0.0484 0.0398 0.0572 0.0944 0.0784 0.242 0.125 0.0994 0.338  0.171  0.131  0.690
3   Czechia     Adults ADG 0.0429 0.0352 0.0520 0.0901 0.0721 0.145 0.125 0.0948 0.296  0.183  0.121  0.434
4   Denmark     Adults ADG 0.0496 0.0415 0.0736 0.0885 0.0763 0.242 0.115 0.0984 0.363  0.159  0.125  0.564
5   Finland     Adults ADG 0.0422 0.0376 0.0486 0.0864 0.0746 0.106 0.117 0.1020 0.203  0.333  0.133  0.758
6    France     Adults ADG 0.0467 0.0383 0.0593 0.0893 0.0730 0.230 0.122 0.0986 0.353  0.179  0.129  0.578

需要将其重塑为以下格式的新数据框：

Concatenation    P50    P95   P99 P99_9
1  ADG_Adults_Austria_CI_50 0.0392 0.0914 0.134 0.152
2  ADG_Austria_Adults_CI2_5 0.0445 0.0753 0.101 0.115
3 ADG_Austria_Adults_CI97_5 0.0512 0.1340 0.230 0.258

要求：原数据框的每一行拆分为三行，分别对应后缀为'M'、'L'、'U'的数值列，且要覆盖所有country_n、popClass_n、org字段。

现有Base R实现 #

本人已写出如下Base R函数实现该功能，但因需处理超大规模数据集，现寻求更简洁高效的方案：

dfM <- f.arrange_perc(holdc,'CI_50')
dfL <- f.arrange_perc(holdc,'CI_2_5')
dfU <- f.arrange_perc(holdc,'CI_97_5')

df <- rbind(dfM, dfL,dfU)

f.arrange_perc <- function(holdc,sCI){
  df <- data.frame(matrix("", ncol = 5, nrow = 3*nrow(holdc))) 
  names(df) <- c('Concatenation','P50','P95','P99','P99_9')
  
  df$Concatenation <- paste(holdc$org,holdc$popClass_n,holdc$country_n, 
                            sCI, sep='_')
  if(sCI=='CI_50'){
    df$P50 <- holdc$P50M
    df$P95 <- holdc$P95M
    df$P99 <- holdc$P99M
    df$P99_9 <- holdc$P99_9M
  } else if (sCI=='CI_2_5'){
    df$P50 <- holdc$P50L
    df$P95 <- holdc$P95L
    df$P99 <- holdc$P99L
    df$P99_9 <- holdc$P99_9L
    
  } else if (sCI=='CI_97_5'){
    df$P50 <- holdc$P50U
    df$P95 <- holdc$P95U
    df$P99 <- holdc$P99U
    df$P99_9 <- holdc$P99_9U
    
  }
  return(df)
}

高效解决方案（Tidyverse） #

针对大规模数据集，使用tidyverse套件中的tidyr和dplyr函数可以更高效地完成重塑，代码更简洁且性能更优：

library(tidyverse)

# 定义后缀与CI标签的映射关系
ci_map <- c(M = "CI_50", L = "CI_2_5", U = "CI_97_5")

result <- holdc %>%
  # 将数值列按后缀拆分，保留前缀作为新列名，后缀存入type列
  pivot_longer(cols = starts_with("P"),
               names_to = c(".value", "type"),
               names_pattern = "(P\\d+(_\\d)?)(M|L|U)") %>%
  # 将type替换为对应的CI标签
  mutate(type = ci_map[type],
         # 拼接Concatenation列
         Concatenation = paste(org, popClass_n, country_n, type, sep = "_")) %>%
  # 调整列顺序，匹配目标格式
  select(Concatenation, P50, P95, P99, P99_9)

方案说明 #

1. pivot_longer：通过正则表达式拆分数值列的名称，把列名的前缀（如P50、P95）保留为新的列名，后缀（M/L/U）存入type列，一步完成行拆分，避免多次复制数据框。
2. 映射替换：用预定义的ci_map将M/L/U替换为对应的CI标签，无需多次条件判断。
3. 列拼接与排序：直接生成目标列并调整顺序，代码逻辑清晰，处理大规模数据时比Base R的循环/rbind方式更高效，因为tidyverse函数多为向量化操作，减少内存占用。

内容的提问来源于stack exchange，提问作者efz