R语言可变窗口滚动最大/最小值计算的内存效率及优化问题

你的判断是正确的，核心问题就出在初始方案中rbindlist()+逐次创建data.table的逻辑：
初始方案用pmap迭代时，每次都会生成一个独立的小data.table对象，每个data.table都有独立的元数据开销（列属性、行索引、类属性等），这些零散小对象会先全部暂存在内存中，等pmap完全执行完毕后才会传给rbindlist合并。当迭代次数达到千万、亿级时，这些小对象的内存总开销会是实际存储数据的3~10倍，还会触发频繁的GC，最终导致内存溢出。
而mapply方案默认返回矩阵或向量列表，不会给每个计算结果生成独立的data.table对象，元数据开销极低，也不需要额外的合并步骤，内存占用自然小很多。

• 优先用data.table非对等连接实现，完全避免R层迭代：这是目前R生态中处理该类场景性能最优的方案，所有核心逻辑都在C层面执行，没有R层循环开销，内存占用极低。示例实现如下：

# 给Lookup_table添加唯一行标识
Lookup_table[, row_id := .I]
# 非对等连接关联区间行，按行分组聚合求最值
res <- Lookup_table[Price_table, on = .(Start <= Index, End >= Index), allow.cartesian = TRUE][
  , .(High_2 = max(Price, na.rm = TRUE), Low_2 = min(Price, na.rm = TRUE)), by = row_id
]
# 结果合并回原Lookup_table
Lookup_table[res, c("High_2", "Low_2") := .(i.High_2, i.Low_2), on = "row_id"]

如果你的查询窗口是连续无重叠的，还可以直接对Price_table按窗口切割分组，性能还能再提升数倍。

• 前缀最值预处理优化重叠窗口场景：如果你的Lookup_table窗口重叠占比高，可以先给Price_table计算前缀最大值、前缀最小值数组，任意区间的最值都可以通过前缀数组在O(1)时间计算得到，不需要遍历区间内的每一个元素，不管窗口多大计算速度都一致。
• Rcpp自定义实现极致性能：如果上述方案仍不能满足性能要求，可以用Rcpp写自定义的区间最值计算函数，直接操作内存连续的Price向量，完全规避R层的对象开销，内存占用和运行速度都能达到最优。
• 避免用purrr/dplyr这类高层封装库做超大数据的逐行操作：这类库为了通用性做了大量封装，迭代过程中会产生大量临时中间对象，内存和速度表现都远不如原生data.table或者C++实现。

内容的提问来源于stack exchange，提问作者Phil