在Posit Cloud中低内存高效合并大型TCGA .tsv文件

一、核心优化思路 #

• 只加载必需列：每个TSV文件仅读取gene_id、gene_name、gene_type、fpkm_unstranded4列，跳过其余5列，直接将单文件内存占用降低一半以上。
• 增量式合并：处理单个文件后立即合并到结果集，不保留所有文件的完整数据在内存中。
• 数据类型压缩：将字符串类型的gene_id、gene_name、gene_type转为因子，fpkm_unstranded使用更紧凑的数值类型，进一步压缩内存占用。

二、R语言data.table低内存实现代码 #

library(data.table)

merge_rna_lowmem <- function(metadata_path, tsv_dir) {
  # 读取元数据，仅保留case_id和file_name列，建立文件名到样本ID的映射
  metadata <- fread(metadata_path, select = c("case_id", "file_name"), key = "file_name")
  
  # 获取所有TSV文件路径
  all_files <- list.files(tsv_dir, pattern = "\\.tsv$", full.names = TRUE)
  if (length(all_files) == 0) stop("未找到TSV文件")
  
  # 初始化结果集：读取第一个文件的核心列，并匹配对应的case_id重命名表达列
  first_file <- all_files[1]
  first_data <- fread(first_file, select = c("gene_id", "gene_name", "gene_type", "fpkm_unstranded"))
  first_case_id <- metadata[file_name == basename(first_file), case_id]
  setnames(first_data, "fpkm_unstranded", first_case_id)
  
  # 遍历剩余文件，增量合并
  for (file in all_files[-1]) {
    # 仅读取gene_id和fpkm列，跳过无关数据
    current_data <- fread(file, select = c("gene_id", "fpkm_unstranded"))
    # 匹配当前文件对应的case_id并重命名列
    current_case_id <- metadata[file_name == basename(file), case_id]
    setnames(current_data, "fpkm_unstranded", current_case_id)
    
    # 按gene_id合并到结果集
    first_data <- merge(first_data, current_data, by = "gene_id", all.x = TRUE)
    # 清理临时对象并强制垃圾回收，释放内存
    rm(current_data)
    gc(verbose = FALSE)
  }
  
  # 转换数据类型压缩内存：字符串转因子，数值类型优化
  first_data[, c("gene_id", "gene_name", "gene_type") := lapply(.SD, as.factor), .SDcols = c("gene_id", "gene_name", "gene_type")]
  fpkm_cols <- setdiff(names(first_data), c("gene_id", "gene_name", "gene_type"))
  first_data[, (fpkm_cols) := lapply(.SD, as.numeric), .SDcols = fpkm_cols]
  
  return(first_data)
}

三、关键细节提示 #

• 若GDC的TSV文件开头包含注释行（非表头行），需在fread中添加skip = n参数（n为需跳过的行数），避免读取错误。
• 若循环合并时仍出现内存压力，可每处理10-20个文件就用fwrite将当前结果写入磁盘，后续再读取继续合并，进一步减少内存驻留数据量。

四、命令行替代方案（内存占用极低） #

如果R环境仍无法承载，可使用awk+join命令行工具批量处理，完全规避内存限制：

1. 提取第一个文件的核心列作为基础矩阵：

# 替换first_file和metadata.tsv为实际路径
first_file="path/to/first.tsv"
case_id=$(grep $(basename $first_file) metadata.tsv | cut -f1)
awk -F'\t' 'NR==1{print "gene_id\tgene_name\tgene_type\t'"$case_id"'"} NR>1{print $1"\t"$2"\t"$3"\t"$9}' $first_file > merged_matrix.tsv

2. 遍历剩余文件，逐列合并到主矩阵：

for file in $(ls path/to/tsv_dir/*.tsv | grep -v $first_file); do
  case_id=$(grep $(basename $file) metadata.tsv | cut -f1)
  # 提取当前文件的gene_id和fpkm列
  awk -F'\t' 'NR==1{print "gene_id\t'"$case_id"'"} NR>1{print $1"\t"$9}' $file > temp_col.tsv
  # 合并到主矩阵
  join -t $'\t' merged_matrix.tsv temp_col.tsv > temp_merged.tsv
  mv temp_merged.tsv merged_matrix.tsv
  rm temp_col.tsv
done

注：若文件中gene_id顺序不一致，需在提取时先对gene_id排序，确保合并匹配准确。

内容的提问来源于stack exchange，提问作者Johnbosco Tayebwa