R批量读取.out.tab.tpm文件指定列按gene_id合并报错解决

• 初始定义的dataset是完全空的数据框，第一次循环执行merge操作时，空对象不存在gene_id列，无法匹配指定的合并主键，直接触发'by' must specify a uniquely valid column报错。
• 代码中list.files未设置full.names = TRUE参数，同时工作目录设置为C:/Users/，但目标文件实际存放在C:/Users/Data/子目录下，即使修复空数据框问题，也会因路径不匹配报文件不存在的错误。
• 逐次循环merge会生成大量同名的tpm列，后续需要逐一重命名为患者ID，代码冗余且运行效率极低。

以下方案基于你已经在使用的data.table生态，运行速度快，适配100个样本的批量处理场景，最终输出格式完全匹配你的预期：

library(data.table)

# 1. 定位目标文件路径，仅筛选后缀为.out.tab.tpm的文件，自动拼接完整路径
file_dir <- "C:/Users/Data/"
file_list <- list.files(
  path = file_dir,
  pattern = "\\.out\\.tab\\.tpm$",
  full.names = TRUE
)

# 2. 从文件名中提取患者ID，适配格式：PatientX_ReadsPerGene.out.tab.tpm
patient_ids <- gsub(
  "_ReadsPerGene\\.out\\.tab\\.tpm$",
  "",
  basename(file_list)
)

# 3. 批量读取文件，仅保留gene_id和tpm列，读取时直接将tpm列重命名为对应患者ID，避免列名重复
read_list <- lapply(seq_along(file_list), function(i) {
  dt <- fread(file_list[i], select = c("gene_id", "tpm"))
  setnames(dt, "tpm", patient_ids[i])
  return(dt)
})

# 4. 按gene_id批量合并所有样本的表达数据，自动处理匹配逻辑
merged_dt <- Reduce(
  function(x, y) merge(x, y, by = "gene_id", all = TRUE),
  read_list
)

# 5. 转置为行是患者、列是基因的矩阵，调整格式匹配预期输出
tpm_matrix <- t(as.matrix(merged_dt, rownames = "gene_id"))
# 转为带PatientID列的数据框格式
tpm_df <- data.frame(
  PatientID = rownames(tpm_matrix),
  as.data.frame(tpm_matrix),
  row.names = NULL
)

如果你确认所有文件的gene_id列取值、顺序完全一致，可以跳过逐次merge的步骤，用更高效的写法，运行速度可提升数倍：

# 高效版本（仅适用于所有文件gene_id顺序完全一致的场景）
# 批量提取所有样本的tpm值向量
tpm_list <- lapply(file_list, function(path) fread(path, select = "tpm")[[1]])
# 提取基因ID作为列名
gene_ids <- fread(file_list[1], select = "gene_id")[[1]]
# 直接拼接矩阵
tpm_matrix <- do.call(rbind, tpm_list)
colnames(tpm_matrix) <- gene_ids
rownames(tpm_matrix) <- patient_ids
# 转为数据框格式
tpm_df <- data.frame(PatientID = patient_ids, tpm_matrix, row.names = NULL)

如果你的文件名命名规则和示例不一致，调整gsub函数的匹配规则即可正确提取患者ID。

内容的提问来源于stack exchange，提问作者RoyBatty279