百万行DataFrame按行累积计算：遇0重置累积值的实现方案

问题明确 #

给定数据框p1，需生成p2，规则为：

• 第一列保留原始值；
• 从第二列开始，每行当前列的结果 = 前一列的结果 + 当前列的原始值；
• 若当前列的原始值为0，则结果直接设为0，后续列的累积从0重新开始。

示例：

# 输入
p1 <- data.frame(x = c(1:3), y=c(2,1,0), z=c(1,0,0))
# 预期输出
p2 <- data.frame(x = c(1:3), y=c(3,3,0), z=c(4,0,0))

高效解决方案 #

针对百万行数据，优先选择向量化操作或编译型代码，避免逐行循环。以下是三种最优方案：

1. Data.table（推荐，易实现且高效） #

data.table的向量化操作内存效率高，适合大数据处理：

library(data.table)

# 转换为data.table（原地修改，节省内存）
setDT(p1)

# 从第二列开始遍历处理
for (col in names(p1)[-1]) {
  prev_col <- names(p1)[which(names(p1) == col) - 1]
  # fifelse是data.table的向量化if-else，比base::ifelse快
  p1[, (col) := fifelse(get(col) == 0, 0, get(prev_col) + get(col))]
}

# 得到结果p2
p2 <- p1

2. 矩阵操作（轻量型，无需额外包） #

利用矩阵的向量化特性，速度接近data.table：

# 转换为矩阵
mat <- as.matrix(p1)
# 标记需要重置的位置
reset_flag <- mat == 0

# 初始化结果矩阵
res_mat <- mat

# 逐列计算
for (j in 2:ncol(res_mat)) {
  res_mat[, j] <- ifelse(reset_flag[, j], 0, res_mat[, j-1] + mat[, j])
}

# 转回数据框
p2 <- as.data.frame(res_mat)

3. Rcpp（极致高效，超大数据首选） #

用C++编译代码，速度比data.table快2-3倍，适合超大规模数据集：

// 保存为rowCumulativeReset.cpp
#include <Rcpp.h>
using namespace Rcpp;

// [[Rcpp::export]]
DataFrame rowCumulativeReset(DataFrame df) {
  int row_count = df.nrows();
  int col_count = df.size();
  List result(col_count);
  
  // 第一列直接复制原始值
  result[0] = df[0];
  
  // 逐列处理
  for (int col = 1; col < col_count; ++col) {
    NumericVector prev_col = result[col - 1];
    NumericVector curr_col = df[col];
    NumericVector new_col(row_count);
    
    // 逐行计算
    for (int row = 0; row < row_count; ++row) {
      new_col[row] = (curr_col[row] == 0) ? 0 : prev_col[row] + curr_col[row];
    }
    
    result[col] = new_col;
  }
  
  // 设置列名
  result.attr("names") = df.attr("names");
  return DataFrame(result);
}

在R中调用：

library(Rcpp)
sourceCpp("rowCumulativeReset.cpp")

# 生成结果
p2 <- rowCumulativeReset(p1)

性能对比（百万行3列数据） #

内容的提问来源于stack exchange，提问作者DD chen