R语言高效更新超大型dataframe单元格及嵌套列表转矩阵效率优化

问题背景 #

我有一个嵌套列表final_list，每个元素结构示例如下：

final_list[[1]]
`S1`
`S1`[[1]]
"path1"      "0.0896894915174206"
`S1`[[2]]
"path2"      "0.205873598055805"
.... 

需求为生成行数等于final_list长度、列数固定为344的dataframe，单元格存储对应浮点数值。原有实现代码如下：

S_df <- matrix(0, nrow = 42845, ncol = 344)
rownames(S_df) <- unique(names(final_list))
colnames(S_df) <- colnames(paths)
  for(i in 1:42845){
    print(i)
    row_name <- names(final_list[1])
    temp_lst <- final_list[[1]]
    for(j in 1:length(temp_lst)){
      S_df[which(rownames(S_df) == row_name), which(colnames(S_df) == temp_lst[[j]][1])] <- temp_lst[[j]][2]
    }
  }

该代码运行耗时超过1.5小时，效率极低。

核心慢因分析 #

• 代码存在逻辑bug：循环内固定取final_list[1]而非final_list[i]，所有行重复处理第一个元素，做了大量无用功
• 循环内反复调用which匹配行、列索引，单匹配操作就执行上百万次，开销极高
• 循环内每次打印i，控制台输出操作非常耗时
• 内层小循环逐单元格赋值，没有利用R的向量化操作特性

优化方案 #

方案1：基础无依赖优化 #

无需安装额外包，仅修改原有逻辑即可获得100倍以上速度提升：

# 提前生成列名到索引的映射，后续查找为O(1)复杂度
col_index <- setNames(1:344, colnames(paths))
row_num <- length(final_list)
# 初始化矩阵
S_df <- matrix(0, nrow = row_num, ncol = 344)
rownames(S_df) <- names(final_list)
colnames(S_df) <- names(col_index)

# 遍历列表批量赋值
for (i in seq_along(final_list)) {
  temp_lst <- final_list[[i]]
  # 批量提取当前行所有路径和对应值
  path_names <- vapply(temp_lst, function(x) x[1], FUN.VALUE = character(1))
  values <- as.numeric(vapply(temp_lst, function(x) x[2], FUN.VALUE = character(1)))
  # 单次批量赋值，无需内层循环
  S_df[i, col_index[path_names]] <- values
}

方案2：tidyverse向量化实现 #

代码更简洁，运行速度更快，适合熟悉tidyverse语法的场景：

library(purrr)
library(tidyr)
library(tibble)
library(dplyr)

# 嵌套列表批量转长表
long_df <- imap_dfr(final_list, ~{
  data.frame(
    row_name = .y,
    path = map_chr(.x, 1),
    value = as.numeric(map_chr(.x, 2))
  )
})

# 长表转宽表，自动补全缺失值为0，对齐列顺序
S_df <- pivot_wider(long_df, 
                    names_from = path, 
                    values_from = value,
                    values_fill = 0) %>%
  column_to_rownames("row_name") %>%
  select(all_of(colnames(paths))) %>%
  as.matrix()

内容的提问来源于stack exchange，提问作者Nmgh