寻求高效按长度拆分FASTQ文件的低耗时方法

嘿，我刚好折腾过类似的需求，给你几个高效的方案，绝对比手动筛选省时间多了！毕竟处理大FASTQ文件最头疼的就是慢和占内存，这几个方案都能解决这些问题：

方案1：用Awk（最快最省内存，强推超大文件） #

Awk处理文本的速度真的没话说，完全是流式处理——不用把整个文件塞进内存，读一行处理一行，几十G的文件也能飞快搞定。直接在终端跑这个命令就行：

awk 'NR%4==2 {len=length($0)} {print >> "seq_len_" len ".fastq"}' your_input.fastq

简单说下这个命令的逻辑： #

• NR%4==2：每4行的第2行就是FASTQ里的序列行，我们在这里计算序列长度len
• print >> "seq_len_" len ".fastq"：把当前行（不管是ID行、序列行、加号行还是质量行）追加到对应长度的文件里，比如长度150的序列组就会写到seq_len_150.fastq里

要是你用的是MacOS自带的BSD Awk，上面的写法可能要微调一下，改成：

awk 'NR%4==2 {len=length($0)} {print > ("seq_len_" len ".fastq")}' your_input.fastq

方案2：用Python + Biopython（适合需要自定义逻辑的场景） #

如果你需要加一些额外操作——比如只保留长度在100-200之间的序列，或者给文件改个更友好的名字——用Python写脚本就灵活多了。先确保你装了Biopython：

pip install biopython

然后跑这个脚本：

from Bio import SeqIO
from collections import defaultdict

# 替换成你的输入FASTQ路径
input_fastq = "your_input.fastq"
# 用字典自动管理不同长度的文件句柄
handles = defaultdict(lambda: open(f"seq_len_{len}.fastq", "w"))

# 遍历每一条序列
for record in SeqIO.parse(input_fastq, "fastq"):
    seq_len = len(record.seq)
    SeqIO.write(record, handles[seq_len], "fastq")

# 最后记得把所有文件句柄关掉，避免报错
for handle in handles.values():
    handle.close()

这个方案可读性强，改起来方便，就是速度比awk慢一点，适合中等大小的文件，或者需要定制化处理的情况。

方案3：用SeqKit（生物信息学工具党福音，简单粗暴） #

如果你平时就常用生物信息学工具，SeqKit绝对是个省心的选择——它专门处理FASTA/FASTQ文件，命令超简洁：

seqkit split2 --by-length your_input.fastq

跑完之后会自动生成一个文件夹，里面是按长度分组的FASTQ文件，比如your_input.L150.fastq这种命名。要是你还没装SeqKit，用conda装最快：

conda install -c bioconda seqkit

小提醒： #

• 处理大文件的时候尽量用SSD，速度能快一大截
• 要是你的FASTQ是压缩的（比如.gz格式），可以直接配合解压命令用：比如awk的话就zcat your_input.fastq.gz | awk '...'，SeqKit更省心，直接读压缩文件就行

内容的提问来源于stack exchange，提问作者Skoddo