C语言如何一次性读取多行文件？fastq.gz块处理IO优化求助

我正在处理*.fastq.gz文件，文件内容示例如下：

@NB501139:187:H2Y5LBGXB:1:11101:17094:1060 2:N:0:CTTTGCGG
AGAGGATCCGTGTGANANNNGANNNCNNCCGNCTNNTANNAGATCACTTAGNNANNNNACAGCAGAAAANNNNNNNNNACAAGGTTGAAANTNTNTNN
+
A/AA///E/////EE#A###//###A##EEE#AE##EA##EE//<AE<EE<##/####/EE</EAE<//#########/E///</EE<<<#E#A#E##
@NB501139:187:H2Y5LBGXB:1:11101:3442:1060 2:N:0:CTTTGCGG
ACTGAGTCACGCACCNANNNCCNNNCNGCCGNCANNGCNNTGCACCGGTGGNCTNNNNTGTGTACTGAGNNTNNNNNNCATGCACACAGANTNCTCNN
+
AAAAAEEEEE/EEE6#<###EE###E#EEE/#AE##<E##EEEEEE/EEEA#EE####EAEEEEEEE/<##A######EEE/E<E/EEE/#A#AEA##

由于文件体积可能超过内存，我采用流式分块处理，每4行作为一个块，当前实现代码如下：

#include <stdio.h>
#include <zlib.h>
#define MAX_LINE_LENGTH 128

typedef struct fastq
{
    char *id;
    char *seq;
    char *qual;
} fastq;

fastq *get_fastq(gzFile file)
{
    fastq *out = (fastq *)malloc(sizeof(fastq));
    out->id = (char *)malloc(MAX_LINE_LENGTH);
    out->seq = (char *)malloc(MAX_LINE_LENGTH);
    out->qual = (char *)malloc(MAX_LINE_LENGTH);

    char temp[MAX_LINE_LENGTH];
    if (gzgets(file, out->id, MAX_LINE_LENGTH) != NULL)
    {
        gzgets(file, out->seq, MAX_LINE_LENGTH);
        gzgets(file, temp, MAX_LINE_LENGTH);
        gzgets(file, out->qual, MAX_LINE_LENGTH);
    }
    else
    {
        free_fastq(out);
        return NULL;
    }

    return out;
}

为减少IO调用次数，我希望实现一次性读取4行（一个块），而非调用4次gzgets()，不确定该方案是否能提升性能，恳请各位提供建议。

1. 先明确zlib的缓存机制 #

zlib本身已经内置块级缓存，默认情况下gzgets不会每次调用都触发实际磁盘IO——它会先从内部缓存读取数据，只有缓存耗尽时才会发起真正的磁盘读取并解压。所以当前4次gzgets调用，实际IO次数远低于调用次数，减少调用次数对磁盘IO的优化作用非常有限。

2. 一次性读取4行的收益与实现方式 #

如果目标是减少函数调用开销而非磁盘IO，一次性读取完整fastq条目确实能降低几次gzgets的函数调用成本，但这种收益在常规场景下微乎其微，仅在处理数十亿级条目时可能体现。

若要实现一次性读取，可以用gzread直接读取一块足够大的缓冲区，再在缓冲区内部自行分割行：

#define BUF_SIZE 4096 // 可根据实际情况调整，比如8KB、16KB

fastq *get_fastq(gzFile file) {
    static char buf[BUF_SIZE];
    static int buf_pos = 0;
    static int buf_len = 0;

    fastq *out = malloc(sizeof(fastq));
    out->id = malloc(MAX_LINE_LENGTH);
    out->seq = malloc(MAX_LINE_LENGTH);
    out->qual = malloc(MAX_LINE_LENGTH);

    // 自定义行读取函数，从缓冲区提取一行
    char* read_line(char *dest, int max_len) {
        if (buf_pos >= buf_len) {
            buf_len = gzread(file, buf, BUF_SIZE);
            if (buf_len <= 0) return NULL;
            buf_pos = 0;
        }

        int i = 0;
        while (buf_pos < buf_len && i < max_len - 1) {
            if (buf[buf_pos] == '\n') {
                buf_pos++;
                break;
            }
            dest[i++] = buf[buf_pos++];
        }
        dest[i] = '\0';
        return dest;
    }

    if (read_line(out->id, MAX_LINE_LENGTH) == NULL) {
        free_fastq(out);
        return NULL;
    }
    read_line(out->seq, MAX_LINE_LENGTH);
    char temp[MAX_LINE_LENGTH];
    read_line(temp, MAX_LINE_LENGTH);
    read_line(out->qual, MAX_LINE_LENGTH);

    return out;
}

3. 更值得优先优化的方向 #

比起合并gzgets调用，以下优化带来的性能提升更显著：

• 减少内存分配次数：当前每次调用get_fastq都要分配3次内存，建议复用fastq结构体或使用内存池，避免频繁malloc/free的开销。
• 动态调整缓冲区大小：MAX_LINE_LENGTH=128可能不足以容纳长序列或ID行，会导致截断错误，建议改为动态扩容（读取行时根据实际长度调整内存）。
• 批量处理条目：若业务逻辑允许，一次性读取多个fastq条目（比如1000条）再批量处理，能提升缓存利用率。

4. 性能验证建议 #

如果不确定哪种方案更适合，直接做基准测试：

• 分别实现两种读取方式，处理同一个大体积fastq.gz文件
• 统计总处理时间、CPU使用率、磁盘IO次数（可借助iostat等工具）
• 根据测试结果选择最优方案

内容的提问来源于stack exchange，提问作者yuw444