使用full_join合并20+数据框时RStudio重启问题求助

核心原因 #

合并20+数据框时，full_join的两两合并逻辑会生成大量中间表，若数据框内存在重复的chr+Gene组合，会进一步导致数据行数/列数急剧膨胀，超出内存限制引发RStudio重启。

解决方案 #

1. 清理重复的chr-Gene组合

单个数据框内的重复chr+Gene对是数据膨胀的主要诱因，先做去重处理：

library(dplyr)
# 保留每个chr-Gene组合的唯一行，.keep_all=TRUE保留其他列
dg_list <- lapply(dg_list, function(df) {
  df %>% distinct(chr, Gene, .keep_all = TRUE)
})

若start/end/StoZ等列在同一chr-Gene下存在差异，需先做聚合处理（示例取均值，可按需调整）：

dg_list <- lapply(dg_list, function(df) {
  df %>% 
    group_by(chr, Gene) %>% 
    summarise(
      start = mean(start),
      end = mean(end),
      StoZ = mean(StoZ),
      Tier = first(Tier),  # 假设Tier在同一组合下一致
      cohort = first(cohort),
      .groups = "drop"
    )
})

2. 用长表转宽表替代多次full_join

full_join的两两合并效率极低，直接绑定所有行后转宽表，避免中间大表的内存消耗：

library(dplyr)
library(tidyr)

# 绑定所有数据框的行
combined_long <- bind_rows(dg_list)

# 转宽表，按chr-Gene分组，将不同cohort的StoZ列展开
AllCohortGene <- combined_long %>%
  pivot_wider(
    id_cols = c(chr, Gene, start, end, Tier),  # 这些列需在chr-Gene下保持一致，否则先聚合
    names_from = cohort,
    values_from = StoZ,
    names_prefix = "StoZ_"  # 给列名加前缀区分不同cohort
  )

3. 优化内存占用

• 将字符型列转为因子，减少内存消耗：

dg_list <- lapply(dg_list, function(df) {
  df %>% 
    mutate(
      chr = as.factor(chr),
      Tier = as.factor(Tier),
      Gene = as.factor(Gene),
      cohort = as.factor(cohort)
    )
})

• 合并前删除不必要的列，仅保留核心字段：

dg_list <- lapply(dg_list, function(df) {
  df %>% select(chr, Gene, cohort, StoZ, start, end, Tier)  # 按需调整列
})

• 合并前手动触发垃圾回收：

gc()

4. 分批合并（备用方案）

若必须使用full_join，可分批次合并降低单步内存压力：

# 将数据框列表分成每5个一组
batches <- split(dg_list, ceiling(seq_along(dg_list)/5))

# 先合并每个批次内的数据框
batch_merged <- lapply(batches, function(batch) {
  batch %>% reduce(full_join, by = c("chr", "Gene"))
})

# 再合并所有批次的结果
AllCohortGene <- batch_merged %>% reduce(full_join, by = c("chr", "Gene"))

# 清理临时变量释放内存
rm(batches, batch_merged)
gc()

内容的提问来源于stack exchange，提问作者Debajyoti Kabiraj