如何高效对data.frame中多列配对执行计算？

针对宽格式数据、按列名配对逐行计算生成新列的需求，以下是几种远优于普通for循环的高效实现方案，支持任意接受两个数值向量的函数：

前提准备 #

首先确保NSW_cols和AUS_cols长度一致，且每一组元素是正确的配对（比如NSW_cols[i]对应AUS_cols[i]）。如果列名有规律（如统一前缀），可以自动配对避免手动输入错误：

# 自动提取并配对列名（示例：匹配以NSW_开头的列，对应替换为AUS_前缀）
NSW_cols <- grep("^NSW_", colnames(df), value = TRUE)
AUS_cols <- gsub("^NSW_", "AUS_", NSW_cols)
# 验证配对列是否存在
stopifnot(all(AUS_cols %in% colnames(df)))

方案1：dplyr + purrr（简洁灵活，中小数据首选） #

利用purrr::map2遍历配对列，结合dplyr批量生成新列，支持任意向量化函数：

library(dplyr)
library(purrr)

# 定义自定义计算函数（可替换为任意接受两个数值向量的函数，如x-y、rowMeans(cbind(x,y))等）
calc_func <- function(x, y) x / y

# 生成新列名（可自定义规则）
new_col_names <- paste0("calc_", gsub("NSW_", "", NSW_cols))

# 批量添加新列
df <- df %>%
  mutate(!!!set_names(map2(NSW_cols, AUS_cols, ~calc_func(df[[.x]], df[[.y]])), new_col_names))

方案2：data.table（大数据量最优） #

data.table的内部优化循环远快于普通for循环，适合数千列、大行数的场景：

library(data.table)
setDT(df)

# 定义计算函数
calc_func <- function(x, y) x / y
new_col_names <- paste0("calc_", gsub("NSW_", "", NSW_cols))

# 批量计算赋值
for (i in seq_along(NSW_cols)) {
  df[, (new_col_names[i]) := calc_func(get(NSW_cols[i]), get(AUS_cols[i]))]
}

方案3：基础R矩阵操作（极致速度，适合逐元素运算） #

如果函数是逐元素运算（如加减乘除、log(x/y)等），直接用矩阵操作完全规避循环，速度最快：

# 提取配对列的矩阵
nsw_mat <- as.matrix(df[, NSW_cols])
aus_mat <- as.matrix(df[, AUS_cols])

# 计算生成结果矩阵
calc_func <- function(x, y) x / y
calc_mat <- calc_func(nsw_mat, aus_mat)
colnames(calc_mat) <- paste0("calc_", gsub("NSW_", "", NSW_cols))

# 合并到原数据
df <- cbind(df, calc_mat)

注意事项 #

• 所有方案要求calc_func是向量化函数：输入两个长度相同的数值向量，输出长度相同的向量（比如x/y会自动对每个对应元素计算，rowMeans(cbind(x,y))会逐行计算均值）。
• 如果函数是非逐元素的（如计算每行两个值的标准差），可改写为向量化形式：calc_func <- function(x, y) apply(cbind(x,y), 1, sd)，但更推荐用rowSds（来自matrixStats包）这类专门的行操作函数进一步提升效率。

内容的提问来源于stack exchange，提问作者diomedesdata