R data.table 大规模时序峰值削峰：超阈值余数向后续列转移的优化方案

你要的高效实现完全可以基于固定窗口列数的向量运算实现，外层循环次数仅等于窗口列数（和数据行数无关），所有数值运算均为R底层C实现的向量化操作，性能远高于逐行遍历，尤其适合大规模数据集。

完整代码 #

library(data.table)

# 示例数据
loads <- data.table(index = 1:3,
                    time1 = c(6600,3000, 12000),
                    time2 = c(12000, 4000, 2000),
                    time3 = c(0, 0, 0),
                    time4 = c(3000,12000,0),
                    time5 = c(5000, 2000, 3000),
                    time6 = c(0, 0, 0),
                    time7 = c(15000, 0, 0))

thresholds <- c("time1" = 5000, 
                "time2" = 5000,
                "time3" = 5000,
                "time4" = 12000,
                "time5" = 12000,
                "time6" = 12000,
                "time7" = 5000)

# 核心处理逻辑
# 1. 提取时间列名，对齐阈值
time_cols <- setdiff(names(loads), "index")
thresh_vec <- thresholds[time_cols]

# 2. 转换为矩阵便于向量运算
val_mat <- as.matrix(loads[, ..time_cols])
# 初始化溢出值向量
carry <- rep(0, nrow(val_mat))

# 3. 仅循环窗口列次（此处为7次，与行数无关）
for (i in seq_along(time_cols)) {
  current_total <- val_mat[, i] + carry
  # 当前列赋值为不超过阈值的部分
  val_mat[, i] <- pmin(current_total, thresh_vec[i])
  # 计算溢出到下一列的部分
  carry <- pmax(current_total - thresh_vec[i], 0)
}

# 4. 转换回data.table得到结果
res <- as.data.table(val_mat)
res[, index := loads$index]
setcolorder(res, "index") # 调整列顺序和输入一致

方案优势 #

• 性能极高：不管数据是1万行还是1000万行，都仅循环固定的窗口次数，每次操作都是全量向量运算，耗时基本随行数线性增长，没有逐行遍历的R层循环开销
• 逻辑简单清晰，和描述的削峰规则完全对齐，溢出到窗口边界的部分自动丢弃，符合需求
• 输出结果和给出的预期值完全一致

内容的提问来源于stack exchange，提问作者bramtimm