如何用R循环实现时序数据2^n点均值计算及性能优化

问题背景 #

需要处理1024行、任意列数的时序数据框，按以下流程计算：

• 迭代计算2^n点均值（从2点到512点，共9次迭代）
• 为每个中间均值结果计算总体标准差
• 基于标准差计算各列的分形维度(FD)
  现有代码因重复逻辑、冗余数据存储导致性能极差，甚至引发R崩溃。

优化方案 #

1. 循环迭代处理均值计算 #

通过循环动态控制每次均值计算的分组大小，避免重复编写代码；每次计算完标准差后立即释放当前均值数据的内存。

2. 矩阵化均值计算 #

利用矩阵的分组求和/均值操作，比lapply+rbind的组合更高效，减少内存开销。

3. 向量化FD计算 #

将逐行的线性回归改为向量化操作，大幅提升FD计算速度。

优化后的完整代码 #

find_fds <- function(df, max_bin = 7, export = FALSE, filetype = ".txt"){
  # 数据清洗：保留原有逻辑
  input_data <- abs(df)
  input_data[input_data >= 1000] <- NA
  input_data <- as.data.frame(lapply(input_data, function(x) c(x[!is.na(x)], x[is.na(x)])))
  input_data <- input_data[1:1024, ]
  names(input_data) <- paste0("Participant", seq_len(ncol(input_data)))
  
  # Z-score转换（使用总体标准差）
  numeric_columns <- sapply(input_data, is.numeric)
  z_scores <- as.data.frame(scale(input_data[, numeric_columns], scale = apply(input_data[, numeric_columns], 2, sd)))
  colnames(z_scores) <- paste0(colnames(input_data)[numeric_columns], "_Z")
  
  # 初始化标准差结果列表
  sds_list <- list()
  sds_list[["Z-Score_SDs"]] <- apply(z_scores, 2, sd.p)
  
  # 迭代计算2^n点均值及对应标准差
  current_data <- z_scores
  # 迭代层级：2^1到2^9（对应2点到512点均值）
  n_levels <- 1:9
  for (n in n_levels) {
    bin_size <- 2^n
    # 转为矩阵进行高效分组计算
    mat <- as.matrix(current_data)
    # 生成分组索引：每2行一组合并
    groups <- rep(1:(nrow(mat)/2), each = 2)
    # 分组计算均值
    current_data <- as.data.frame(t(rowsum(mat, groups) / 2))
    # 计算当前均值的总体标准差并存入列表
    sds_name <- paste0(bin_size, "-Point_Mean_SDs")
    sds_list[[sds_name]] <- apply(current_data, 2, sd.p)
  }
  
  # 转换为标准差数据框
  pop_sds <- as.data.frame(sds_list)
  
  # 向量化计算分形维度(FD)
  # 提取需要的标准差列并取log2
  log_sds <- log2(pop_sds[, 1:max_bin])
  # 生成log2(bin_size)的矩阵，每行对应一个样本的bin尺寸对数
  log_bins <- matrix(1:max_bin, nrow = nrow(pop_sds), ncol = max_bin, byrow = TRUE)
  
  # 用协方差/方差公式直接计算斜率，替代逐行lm
  x_mean <- mean(1:max_bin)
  y_mean <- colMeans(log_sds)
  cov_xy <- rowSums((log_bins - x_mean) * (log_sds - y_mean)) / (max_bin - 1)
  var_x <- var(1:max_bin)
  slopes <- cov_xy / var_x
  
  # 计算FD值
  FD_values <- 1 - slopes
  result <- data.frame(FD = FD_values)
  
  # 导出逻辑修正变量名错误
  if(export){
    switch(filetype,
           ".txt" = write.table(result, "FD_results.txt"),
           ".csv" = write.csv(result, "FD_results.csv"),
           ".xlsx" = write.xlsx(result, "FD_results.xlsx"),
           stop("Invalid file type specified! Use .txt, .csv, or .xlsx.")
    )
  }
  
  return(result)
}

关键优化点说明 #

• 循环迭代均值计算：通过n_levels控制迭代次数，每次基于上一次的结果计算新均值，彻底消除重复代码
• 矩阵分组计算：使用rowsum进行快速分组求和，再除以2得到均值，比原代码的lapply+rbind效率提升数倍
• 内存优化：仅保留当前迭代的均值数据，计算完标准差后直接覆盖，避免存储大量冗余中间数据框
• 向量化FD计算：利用协方差和方差的数学公式直接计算斜率，替代逐行调用lm，大幅减少计算时间

内容的提问来源于stack exchange，提问作者painedphdstudent