R语言中如何高效对多数据集所有元素组合应用自定义函数？

假设我定义了一个三变量函数：

f <- function(x,y,z) x*y*z

同时给定三个数据集：

X <- seq(1,10)
Y <- seq(11,20)
Z <- seq(21,30)

我需要高效地对X、Y、Z的所有元素组合计算函数f的值，请问最优实现方法是什么？（实际场景中我的函数逻辑更复杂，且数据集规模极大）

最优实现方案 #

针对大规模数据集的场景，推荐以下几种高效方案，按性能优先级排序：

1. data.table交叉连接（高性能首选） #

data.table的CJ函数生成笛卡尔积的效率远超基础R的expand.grid，且结合内置的赋值操作:=，能在内存中直接计算结果，避免不必要的拷贝，是大规模数据的最优选择：

library(data.table)
# 生成所有元素组合并计算函数值
result_dt <- CJ(X = X, Y = Y, Z = Z)[, result := f(X, Y, Z)]

2. 向量化直接运算（函数可向量化时） #

如果你的函数f本身支持向量化操作（比如示例中的乘法），直接对笛卡尔积的列进行向量化计算是效率最高的方式，完全避免循环：

# 生成组合
combinations <- expand.grid(X = X, Y = Y, Z = Z)
# 向量化计算结果
combinations$result <- combinations$X * combinations$Y * combinations$Z

注：若实际函数逻辑可改造为向量化形式，务必优先采用，这是R中最高效的运算模式。

3. purrr多列映射（tidyverse生态方案） #

若习惯tidyverse语法，purrr::pmap可以便捷地对多列组合进行映射，代码可读性强，效率优于基础R的apply：

library(purrr)
library(dplyr)
combinations <- expand.grid(X = X, Y = Y, Z = Z) %>%
  mutate(result = pmap_dbl(list(X, Y, Z), f))

4. 并行计算（复杂函数+超大规模数据） #

当函数逻辑复杂无法向量化且数据量极大时，可借助并行计算加速。future.apply包能轻松将apply类操作并行化：

library(future.apply)
plan(multisession) # 开启多核并行
combinations <- expand.grid(X = X, Y = Y, Z = Z)
combinations$result <- future_apply(combinations, 1, function(row) f(row$X, row$Y, row$Z))

注：并行计算存在额外开销，仅当数据规模足够大时才会体现优势。

内容的提问来源于stack exchange，提问作者Winger 14