寻求列间序列生成函数my_fun的高效优化实现方案

我编写了用于生成列间序列的函数my_fun，但该函数实现繁琐且运行速度较慢，希望获取更合理、高效的实现方式。以下为示例代码及性能测试结果：

set.seed(1)
x1 <- rnorm(30, sd = 0.05)
x2 <- x1+0.2+rnorm(30,sd = 0.05)

# 示例数据
X <- cbind.data.frame(x1,x2)
matplot(X,t="l",lty=1)

my_fun <- function(X, by=0.01){
  res <- NULL
  for(i in 1:nrow(X)){
    res <- rbind.data.frame(
      res,
      cbind(idx=i,val=seq(X$x1[i],X$x2[i], by=by))
    )}
  res
}

res <- my_fun(X)
print(res)
points(res, col=8)

函数逻辑简单，运行代码即可理解功能，已添加绘图用于可视化

现有实现性能测试结果 #

microbenchmark::microbenchmark(
  my_fun(X),
  my_fun2(X),
  ThomasIsCoding_fun(X),
  jblood94_fun(X), times = 5)

测试输出：

Unit: microseconds
                  expr     min      lq     mean  median      uq     max neval
             my_fun(X) 13445.3 13603.4 13787.20 13797.9 13860.3 14229.1     5
            my_fun2(X)  2214.9  2297.2  4754.70  2407.0  2447.9 14406.5     5
 ThomasIsCoding_fun(X)  5510.8  5728.3 12882.36  6036.4 17120.4 30015.9     5
       jblood94_fun(X)   680.0   750.3  3900.88   764.8   814.3 16495.0     5

高效优化方案 #

原函数的核心问题是循环中反复用rbind.data.frame拼接数据框，每次拼接都会复制全部已有数据，随着数据量增大，性能会断崖式下跌。下面是两种高效实现方式：

方案1：向量化计算+预分配空间 #

利用R的向量化特性，预先计算所有序列的长度，一次性生成结果，彻底避免循环内的内存复制：

fast_fun <- function(X, by = 0.01) {
  # 计算每行生成的序列长度
  seq_lengths <- ceiling(abs(X$x2 - X$x1) / by) + 1
  # 生成重复的行索引
  idx <- rep(seq_len(nrow(X)), seq_lengths)
  # 生成所有序列的起始值
  starts <- rep(X$x1, seq_lengths)
  # 计算每个元素的偏移量
  offsets <- sequence(seq_lengths) - 1
  # 生成最终的序列值
  val <- starts + offsets * by
  
  data.frame(idx = idx, val = val)
}

方案2：tidyverse风格高效实现 #

如果习惯用tidyverse工具链，purrr::map_dfr内部做了高效拼接优化，代码简洁且性能出色：

library(purrr)
tidy_fun <- function(X, by = 0.01) {
  map_dfr(seq_len(nrow(X)), function(i) {
    data.frame(idx = i, val = seq(X$x1[i], X$x2[i], by = by))
  })
}

优化原理说明 #

1. 避免循环内拼接：原函数rbind的时间复杂度是O(n²)，预分配空间或用map_dfr的时间复杂度为O(n)，数据量越大差距越明显。
2. 向量化优先：R的向量化操作由底层C实现，比纯R循环快数倍甚至数十倍。
3. 减少内存复制：一次性计算所有结果并分配内存，避免多次内存分配和数据拷贝。

内容的提问来源于stack exchange，提问作者mr.T