R语言中高效构建基因型参数化design matrix的方法

核心实现逻辑 #

优先使用data.table做高速读入与数据处理，搭配Matrix包的稀疏矩阵能力降低内存消耗，比base R或tidyverse方案性能高5_{10倍，3GB文件在16G内存普通设备上可在1}3分钟内跑完。

第一步：安装加载依赖 #

# 首次运行先安装包
install.packages(c("data.table", "Matrix"))
# 加载包
library(data.table)
library(Matrix)

第二步：高速读入文件 #

读入阶段就只保留需要的snp/id/code三列，跳过无用的等位基因列，大幅降低内存占用：

geno_dt <- fread("你的基因型文件完整路径", select = c("snp", "id", "code"))

第三步：按需选择输出方案 #

方案1：内存充足时直接生成稠密矩阵（速度最快）

用data.table的dcast一步完成长表转宽表，符合你要求的输出格式：

# 转宽表：行是id，列是snp，值是code
design_mat <- dcast(geno_dt, id ~ snp, value.var = "code")
# 如果需要去掉id列转为纯矩阵格式，执行下面两行
rownames(design_mat) <- design_mat$id
design_mat <- as.matrix(design_mat[, -1])

方案2：内存不足时生成稀疏矩阵（内存占用仅为稠密矩阵的1/5~1/10）

不需要中间转宽表步骤，直接通过索引构建矩阵，适合snp/个体数量极多的场景：

# 生成行、列索引
geno_dt[, id_f := factor(id)]
geno_dt[, snp_f := factor(snp)]
# 构建稀疏矩阵
design_sparse <- sparseMatrix(
  i = as.integer(geno_dt$id_f),
  j = as.integer(geno_dt$snp_f),
  x = geno_dt$code,
  dimnames = list(levels(geno_dt$id_f), levels(geno_dt$snp_f))
)
# 后续需要用稠密矩阵时，调用as.matrix(design_sparse)即可转换

额外优化提示 #

如果文件大小远超设备内存，可通过fread的nrows和skip参数分块读入，逐块更新稀疏矩阵即可，无需一次性加载全量数据。

内容的提问来源于stack exchange，提问作者jakim_M