使用minimap2全基因组比对时内存不足的问题及优化咨询

问题背景 #

使用命令minimap2 -ax asm5 --eqx比对两个经ragtag挂载的hifiasm组装序列（参考/查询序列各约5GB，含7条染色体）时，出现内存不足崩溃，报错信息如下：

[M::mm_idx_gen::25.290*1.51] collected minimizers
[M::mm_idx_gen::27.468*2.00] sorted minimizers
[M::main::27.469*2.00] loaded/built the index for 7 target sequence(s)
[M::mm_mapopt_update::28.725*1.96] mid_occ = 500
[M::mm_idx_stat] kmer size: 19; skip: 19; is_hpc: 0; #seq: 7
[M::mm_idx_stat::29.548*1.93] distinct minimizers: 73790276 (82.84% are singletons); average occurrences: 2.207; average spacing: 9.970; total length: 1623510972
[morecore] insufficient memory
/var/spool/slurm/job310283/slurm_script: line 14: 1752956 Aborted                 minimap2 -ax asm5 --eqx -t 8 ${ref} ${query} > $SCRATCH/${output}.sam

任务运行2.5个CPU小时后失败，已使用300GB内存，调整线程数和内存分配后问题仍存在，且因需适配syri工具必须保留--eqx参数。

可行参数调整方案 #

1. 增大k-mer和步长，减少索引内存占用 #

asm5模式默认k=19、skip=19，增大这两个值会减少生成的minimizer数量，降低索引的内存占用，同时不影响长组装序列的比对精度。

• 调整后命令：

  minimap2 -ax asm5 --eqx -k23 --skip23 -t 8 ${ref} ${query} > $SCRATCH/${output}.sam
  

  可根据实际情况进一步调整k值（如-k25），只要保持k和skip值一致即可。

2. 启用分块索引拆分内存负载 #

通过--split-prefix参数将参考序列的索引拆分为多个小块，避免一次性加载整个大索引到内存，大幅降低峰值内存需求。

• 调整后命令：

  minimap2 -ax asm5 --eqx --split-prefix ref_index_chunk -t 8 ${ref} ${query} > $SCRATCH/${output}.sam
  

  该命令会自动生成以ref_index_chunk为前缀的多个索引文件，minimap2会按需加载这些文件。

3. 手动限制堆内存上限 #

使用--heap-size参数指定minimap2可使用的最大堆内存，防止无限制占用内存资源，需根据节点可用内存合理设置（比如节点有350GB内存时，设为250GB留足缓冲）。

• 调整后命令：

  minimap2 -ax asm5 --eqx --heap-size 250G -t 8 ${ref} ${query} > $SCRATCH/${output}.sam
  

4. 拆分染色体单独比对后合并 #

由于参考和查询序列均仅含7条染色体，可拆分每条染色体单独比对，再合并结果，单个比对任务的内存需求会显著降低。

• 操作步骤：
  1. 提取单条染色体序列：

     # 为参考序列建立索引并拆分
     samtools faidx ${ref}
     for chr in $(cut -f1 ${ref}.fai); do
         samtools faidx ${ref} $chr > ref_${chr}.fasta
     done
     # 为查询序列执行同样操作
     samtools faidx ${query}
     for chr in $(cut -f1 ${query}.fai); do
         samtools faidx ${query} $chr > query_${chr}.fasta
     done
     

  2. 逐个染色体比对：

     for chr in $(cut -f1 ${ref}.fai); do
         minimap2 -ax asm5 --eqx -t 8 ref_${chr}.fasta query_${chr}.fasta > $SCRATCH/${output}_${chr}.sam
     done
     

  3. 合并SAM文件（保留header）：

     samtools merge -h $SCRATCH/${output}_$(cut -f1 ${ref}.fai | head -n1).sam $SCRATCH/${output}.sam $SCRATCH/${output}_*.sam
     

5. 进一步优化线程数 #

线程数过多会导致内存开销叠加，可尝试降低线程数（如-t4），减少内存竞争，确保每个线程有足够的内存分配。

内容的提问来源于stack exchange，提问作者altuffin