使用zlib检测gz压缩流末尾时大文件报错问题排查

你的代码核心问题是错误地更新了输入指针ptr，导致跳过了未被inflate处理的压缩数据，后续读取到错误的压缩块内容，引发解压失败。小文件可能因单次处理完成掩盖了这个问题，但大文件分块处理时就会触发校验错误。

关键错误点 #

在内部do-while循环中，你直接执行了ptr += infstream.avail_in，但inflate未必会消耗掉所有可用的输入数据（比如输出缓冲区满时，输入会有剩余）。这会导致ptr被错误地向前跳跃，后续处理时读取到不完整的压缩块，从而报出invalid code lengths set或invalid block type这类校验错误。

修正后的代码 #

#include <stdio.h>
#include <stdlib.h>
#include <zlib.h>

int gzip_dctest(unsigned char *inbuf, unsigned int inlen) {
    unsigned int outlen = 262144;
    unsigned char *outbuf = malloc(outlen);
    if (!outbuf) {
        fprintf(stderr, "gzip_test: malloc failed\n");
        return Z_MEM_ERROR;
    }
    int ret = 0;

    z_stream infstream = {0};
    infstream.zalloc = Z_NULL;
    infstream.zfree = Z_NULL;
    infstream.opaque = Z_NULL;
    infstream.avail_in = 0;
    infstream.next_in = Z_NULL;

    ret = inflateInit2(&infstream, MAX_WBITS | 32); // 自动识别gzip/zlib头
    if (ret != Z_OK) {
        fprintf(stderr, "gzip_test: init fail (%d: %s)\n", ret, infstream.msg);
        free(outbuf);
        return ret;
    }
    
    unsigned int ptr = 0;
    do {
        infstream.next_in = inbuf + ptr;
        infstream.avail_in = inlen - ptr;
        if (infstream.avail_in == 0) {
            break;
        }
        // 可选：限制单次处理的输入块大小，避免内存压力
        if (infstream.avail_in > outlen) {
            infstream.avail_in = outlen;
        }

        // 保存当前可用输入的长度，用于计算实际消耗的字节数
        unsigned int used_in = infstream.avail_in;
        infstream.avail_out = outlen;
        infstream.next_out = outbuf;

        ret = inflate(&infstream, Z_NO_FLUSH);
        if (ret < 0 && ret != Z_BUF_ERROR) { // Z_BUF_ERROR是正常的缓冲区不足
            fprintf(stderr, "gzip_test: inflate fail at %u (%d: %s)\n", ptr, ret, infstream.msg);
            inflateEnd(&infstream);
            free(outbuf);
            return ret;
        }

        // 更新ptr：实际消耗的输入 = 初始可用输入 - 剩余可用输入
        ptr += used_in - infstream.avail_in;

        // 输出缓冲区满时，继续循环处理剩余输入
    } while (infstream.avail_out == 0 || ret != Z_STREAM_END);

    inflateEnd(&infstream);
    free(outbuf);
    // 返回压缩流结束的位置指针
    return ptr;
}

修正说明 #

1. 正确更新输入指针：通过used_in - infstream.avail_in计算inflate实际消耗的输入字节数，确保ptr只前进已处理的数据。
2. 处理Z_BUF_ERROR：该返回值表示当前输入/输出缓冲区不足，属于正常情况，无需报错，继续处理即可。
3. 内存释放：添加了outbuf的内存释放，避免内存泄漏。
4. 输入块大小限制优化：将原有的outlen/8调整为outlen，更合理地利用输出缓冲区的处理能力。

为什么原代码小文件正常？ #

小文件的压缩数据可能在单次inflate调用中就被完全处理，此时infstream.avail_in会被耗尽，ptr的错误更新不会暴露问题；但大文件需要分块处理时，错误的ptr会直接导致后续读取到无效的压缩数据，触发校验错误。

内容的提问来源于stack exchange，提问作者ahauras