R语言高效实现跨数据集列值乘法并新增列需求

需求说明：

• 为数据集data1新增加权列：将data1中所有以d0开头的列，分别乘以数据集data2中对应id（列名匹配）行的w值
• 必须保留原列，且要求极高计算效率：实际场景中data1有30万行，该操作会被封装为函数调用1万次，常规循环速度无法满足；data2行数在2-35之间，仅需匹配data1中d0开头的列

示例数据：

data1 <- data.frame(
  id  = seq(1:5),
  d01 = c(1.5, 4, 3, 2, 1),
  d02 = c(1, 2, 1, 4.5, 3),
  d03 = c(2, 4, 3, 2, 5)
)

data2 <- data.frame(
  id = c('d01', 'd02', 'd03'),
  w  = c(2, 4, 1.5)
)

期望输出结果：

result <- data.frame(
  id  = seq(1:5),
  d01 = c(1.5, 4, 3, 2, 1),
  wd01 = c(3, 8, 6, 4, 2),
  d02 = c(1, 2, 1, 4.5, 3),
  wd02 = c(4, 8, 4, 18, 12),
  d03 = c(2, 4, 3, 2, 5),
  wd03 = c(3, 6, 4.5, 3, 7.5)
)

高效解决方案（基于向量化运算，避免循环） #

方案1：使用data.table（最优性能，适合高频调用+大数据）

data.table的内存管理和向量化操作在大规模数据场景下性能远超基础R，完美匹配1万次调用的需求：

library(data.table)

# 转换为data.table格式（原地转换，无内存拷贝）
setDT(data1)
setDT(data2)

# 获取所有d0开头的列名
d_cols <- grep("^d0", names(data1), value = TRUE)

# 批量生成加权列
for (col in d_cols) {
  # 快速匹配对应权重
  w_val <- data2[id == col, w]
  # 原地新增列，无额外内存开销
  data1[, paste0("w", col) := get(col) * w_val]
}

# 调整列顺序，让原列和对应加权列相邻
new_col_order <- c("id", unlist(mapply(c, d_cols, paste0("w", d_cols), SIMPLIFY = FALSE)))
setcolorder(data1, new_col_order)

# 如需转回data.frame格式
# result <- as.data.frame(data1)

方案2：基础R矩阵运算（无需额外依赖）

利用矩阵广播特性实现向量化计算，避免逐行循环的性能损耗：

# 获取d0开头的列名和对应数据矩阵
d_cols <- grep("^d0", names(data1), value = TRUE)
d_matrix <- as.matrix(data1[, d_cols])

# 匹配对应权重向量
w_vec <- data2$w[match(d_cols, data2$id)]

# 矩阵乘法实现批量加权
weighted_matrix <- d_matrix %*% diag(w_vec)
colnames(weighted_matrix) <- paste0("w", d_cols)

# 合并数据并调整列顺序
result <- cbind(data1, weighted_matrix)
new_col_order <- c("id", unlist(mapply(c, d_cols, paste0("w", d_cols), SIMPLIFY = FALSE)))
result <- result[, new_col_order]

性能提示 #

• 两种方案均采用向量化/矩阵运算，避免了逐行循环的性能瓶颈
• data.table方案在高频调用（1万次）场景下表现最优，因其原地操作的内存效率更高
• 避免使用apply系列逐列处理函数，相比向量化运算仍有明显性能差距

内容的提问来源于stack exchange，提问作者EmilA