优化R语言时间区间模糊连接 解决内存占用过高问题

背景 #

此前在Stack Overflow的《Pairing Time series Data with Batch Data in R》帖子中，针对样本数据的模糊连接方案可行，但处理大数据集时因组合爆炸触发内存溢出：

• apexdata：78592行17列
• ibadata：175200行9列
• 单条apexdata记录最多可匹配40条ibadata记录

通过pryr测量内存：

> object_size(apexdata)
15.09 MB
> object_size(ibadata)
12.62 MB
> mem_used()
140 MB

执行以下代码时触发错误：

ibadata$time <- dmy_hms(ibadata$time)
apexdata <- mutate(apexdata, heatSC = paste(`MLH_HEAT_NO`, `BLI_STRAND_NO`, `CUT`, sep=","))
apexdata$CHARGE_TIME <- as.POSIXct(apexdata$CHARGE_TIME, "%m/%d/%Y %H:%M:%S", tz = "UTC")
apexdata$MILL_ENTER_TIME <- as.POSIXct(apexdata$MILL_ENTER_TIME, "%m/%d/%Y %H:%M:%S", tz = "UTC")

gc()
# 使用fuzzy_left_join执行模糊连接
result <- ibadata %>%
  fuzzy_left_join(apexdata,
                  by = c("time" = "CHARGE_TIME",
                         "time" = "MILL_ENTER_TIME"),
                  match_fun = list(`>=`, `<`)) %>%
  filter(!is.na(heatSC)) %>%
  group_by(heatSC) %>%
  summarise_at(vars(Z1Temp:Z6Temp), mean, na.rm = TRUE)

错误信息：

Error: cannot allocate vector of size 102.3 Gb

用户问题 #

1. 分块处理数据集是否为最优解？若可行，是否通过减少行数实现分块？
2. 使用data.table的foverlaps或非等值连接是否能降低内存占用？

解决方案 #

1. 分块处理的可行性与实现 #

分块处理是有效解决方案之一，但无需单纯靠硬砍行数分块，更高效的方式是按时间区间分块——因为你的匹配逻辑基于时间范围（time >= CHARGE_TIME且time < MILL_ENTER_TIME）：

• 提取apexdata中所有CHARGE_TIME和MILL_ENTER_TIME的时间边界，将整个时间轴切分成多个不重叠区间
• 把ibadata按这些区间拆分成对应块，每个块仅与apexdata中覆盖该区间的记录做模糊连接
• 最后合并各块的汇总结果

这种方式能避免全量笛卡尔积式的中间结果，大幅降低单块处理的内存占用。示例代码思路：

library(dplyr)
library(purrr)

# 提取时间边界并排序
time_bounds <- sort(unique(c(apexdata$CHARGE_TIME, apexdata$MILL_ENTER_TIME)))
# 生成时间区间块
time_blocks <- tibble(start = time_bounds[-length(time_bounds)], end = time_bounds[-1])

# 分块处理
result_list <- map(1:nrow(time_blocks), function(i) {
  # 筛选当前时间块内的ibadata
  ib_block <- filter(ibadata, time >= time_blocks$start[i] & time < time_blocks$end[i])
  # 筛选覆盖当前时间块的apexdata记录
  apex_block <- filter(apexdata, CHARGE_TIME <= time_blocks$end[i] & MILL_ENTER_TIME >= time_blocks$start[i])
  # 执行模糊连接与汇总
  ib_block %>%
    fuzzy_left_join(apex_block,
                    by = c("time" = "CHARGE_TIME", "time" = "MILL_ENTER_TIME"),
                    match_fun = list(`>=`, `<`)) %>%
    filter(!is.na(heatSC)) %>%
    group_by(heatSC) %>%
    summarise_at(vars(Z1Temp:Z6Temp), mean, na.rm = TRUE)
})

# 合并结果
final_result <- bind_rows(result_list)

2. data.table的foverlaps优化 #

data.table的foverlaps是专为时间区间匹配设计的高效工具，相比fuzzy_left_join能大幅减少中间内存占用——它底层用了更高效的索引机制，不会生成不必要的笛卡尔积：

• 将apexdata整理成区间格式（start=CHARGE_TIME, end=MILL_ENTER_TIME）并设置键
• 把ibadata的time列处理成单元素区间（start=time, end=time）
• 用foverlaps做区间匹配后直接汇总

示例代码：

library(data.table)

# 转换为data.table格式
setDT(ibadata)
setDT(apexdata)

# 处理时间列，转为区间格式
ibadata[, `:=`(start_time = time, end_time = time)]
apexdata[, `:=`(start_time = CHARGE_TIME, end_time = MILL_ENTER_TIME)]

# 设置键（必须按区间的start和end字段设置）
setkey(apexdata, start_time, end_time)

# 执行区间匹配，type="within"表示ibadata的时间落在apexdata的区间内
matched <- foverlaps(ibadata, apexdata, by.x = c("start_time", "end_time"), type = "within")

# 筛选有效匹配并按heatSC汇总均值
final_result <- matched[!is.na(heatSC), 
                       lapply(.SD, mean, na.rm = TRUE), 
                       by = heatSC, 
                       .SDcols = Z1Temp:Z6Temp]

这种方式的内存占用远低于dplyr的fuzzy_left_join，因为data.table在处理过程中不会生成全量临时连接结果，而是边匹配边处理，索引的存在也让匹配速度更快。

方案对比 #

• 若数据集时间分布均匀，data.table的foverlaps是最优选择，代码简洁且性能、内存表现更优
• 若时间分布极不均衡（某段时间数据量极大），分块处理+data.table的组合能进一步降低单块内存压力，避免单次处理内存溢出

内容的提问来源于stack exchange，提问作者FactoryData999