循环、向量化与并行计算效率对比及优化方案问询

背景与代码实现 #

我生成了包含2011-2022年共12份数据集的列表，每份数据集包含10^5行数据：

library(data.table)
library(tidyverse)
library(parallel)
library(doParallel)
library(foreach)
library(stringr)
set.seed(42)  # 设定随机种子保证可复现

# 定义指定序列及对应权重
specified_sequences <- c("ABCD", "EFGH", "IJKL", "MNOP", "QRST", "UVWX", "YZAB")
specified_weights <- sample(100:200, length(specified_sequences), replace = TRUE)

# 定义剩余序列
remaining_letters <- sample(LETTERS, 12)  # 随机选择12个字母
remaining_sequences <- combn(remaining_letters, 4, FUN = paste0, collapse = "")
remaining_weights <- sample(0:15, length(remaining_sequences), replace = TRUE)

# 合并序列与权重
all_sequences <- c(specified_sequences, remaining_sequences)
all_weights <- c(specified_weights, remaining_weights)

# 生成带权重的随机四字母序列函数
generate_random_sequence <- function() {
  sample(all_sequences, 1, replace = TRUE, prob = all_weights)
}

# 生成带权重的随机四字母序列函数（与上方重复，仅保留原代码结构）
generate_random_sequence_modified <- function() {
  sample(all_sequences, 1, replace = TRUE, prob = all_weights)
}

# 创建存储数据集的空列表
dataset_list <- list()
nrow<-10^5

# 循环生成2011-2022年的数据集
for (year in 2011:2022) {
  # 根据年份生成序列向量
  if (year < 2023) {
    vector <- replicate(nrow, generate_random_sequence())
  } else {
    vector <- replicate(nrow, generate_random_sequence_modified())
  }
  
  # 创建年度数据集
  dataset <- data.frame(
    Age = rnorm(nrow, mean = 40, sd = 13),
    Gender = sample(c("Male", "Female"), nrow, replace = TRUE),
    Year = rep(year, nrow),
    vector = vector
  )
  
  # 将数据集加入列表
  dataset_list[[as.character(year)]] <- dataset
}

我需要对这12份数据集执行相同的处理，分别用循环和并行计算实现：

循环处理实现 #

dataset_list_new<-list()

for (i in seq_along(dataset_list)) {
  
  cas_temp<-as.data.table(dataset_list[[i]])
  cas_temp[, new_var := as.integer(str_detect(vector, "ABCD|EFGH|IJKL"))]
  cas_temp <- cas_temp[, .(Age, Gender, Year, vector, new_var)]
  dataset_list_new[[i]]<-cas_temp
}

并行计算实现 #

# 设置并行核心数
num_cores <- 8  # 根据可用核心数调整

# 初始化并行后端
cl <- makeCluster(num_cores)
registerDoParallel(cl)

# 创建存储结果的空列表
dataset_list_new2 <- vector("list", length = length(dataset_list_new))

# 并行遍历数据集列表索引
dataset_list_new2 <- foreach(i = seq_along(dataset_list_new), .combine = "list") %dopar% {
  library(data.table)
  library(tidyverse)
  cas_temp<-as.data.table(dataset_list[[i]])
  cas_temp[, new_var := as.integer(str_detect(vector, "ABCD|EFGH|IJKL"))]
  cas_temp <- cas_temp[, .(Age, Gender, Year, vector, new_var)]

  # 返回处理后的data.table
  return(cas_temp)
}

疑问 #

实际测试发现循环的效率（速度）优于并行计算，想请教：

• 这种情况是因为数据集数量较少（仅12份）导致循环更高效，还是我的并行计算实现存在问题？
• 该场景是否适合使用向量化处理？若适合，能否提供对应的向量化代码？

我的计算机配置：

Processor: Intel(R) Core(TM) i7-1065G7 CPU @ 1.30GHz   1.50 GHz
RAM: 32,0 Go (31,7 Go utilisable)
OS: Windows 64 bit

解答 #

一、循环比并行快的核心原因 #

1. 并行开销抵消收益：并行计算存在启动集群、进程间通信、数据传递等额外开销。当任务数量少（仅12份）且单份任务处理耗时短的时候，这些开销会远超过并行带来的加速收益，导致整体效率更低。
2. 并行实现的冗余操作：你当前的并行代码在每次循环中都重复加载data.table和tidyverse包，这会大幅增加不必要的耗时。此外，核心数设置为8，而任务仅12份，部分核心会处于闲置状态，进一步降低效率。

二、该场景完全适合向量化处理 #

所有数据集的处理逻辑完全一致，可先将整个列表合并为单个大data.table，利用data.table的向量化特性一次性完成所有处理，再按需拆分回列表。这种方式避免了循环/并行的额外开销，效率会显著提升。

向量化处理代码

# 合并所有数据集为单个大data.table，保留年份标识
combined_dt <- rbindlist(dataset_list, idcol = "Year")

# 一次性完成所有数据处理
combined_dt[, new_var := as.integer(str_detect(vector, "ABCD|EFGH|IJKL"))]
# 保留需要的列（与原处理逻辑对齐）
combined_dt <- combined_dt[, .(Age, Gender, Year, vector, new_var)]

# 可选：将处理后的数据还原为按年份分组的列表
dataset_list_vectorized <- split(combined_dt, by = "Year")
# 调整列表名称为原格式（2011、2012...）
names(dataset_list_vectorized) <- as.character(2011:2022)

优化后的并行代码（若后续需使用并行） #

如果后续数据集数量大幅增加，并行才有实际意义，可按以下方式优化：

# 核心数不超过任务数，避免资源浪费
num_cores <- min(8, length(dataset_list))
cl <- makeCluster(num_cores)
# 预先在所有并行节点加载所需包
clusterEvalQ(cl, {
  library(data.table)
  library(stringr) # 仅加载需要的包，无需整个tidyverse
})
registerDoParallel(cl)

# 直接遍历列表元素，代码更简洁
dataset_list_new2 <- foreach(dt = dataset_list, .combine = "list") %dopar% {
  cas_temp <- as.data.table(dt)
  cas_temp[, new_var := as.integer(str_detect(vector, "ABCD|EFGH|IJKL"))]
  cas_temp[, .(Age, Gender, Year, vector, new_var)]
}
# 关闭并行集群
stopCluster(cl)

内容的提问来源于stack exchange，提问作者Seydou GORO