大文件网络传输内存受限？求C++下基于TinyLZMA的优化方案

核心思路 #

利用TinyLZMA的流式压缩能力，无需一次性加载整个大文件到内存，分块读取原文件并逐步压缩；同时维护一个256字节的发送缓冲区，将压缩后的数据持续写入缓冲区，攒满即发送，最后发送剩余字节，完全避免传输payload浪费。

具体实现步骤 #

• 初始化流式压缩上下文：调用TinyLZMA的LzmaCompressInit初始化压缩上下文，选择合适的压缩级别（推荐5-7，平衡内存占用与压缩率），保持上下文全程复用，不能每次处理小块就重新初始化——否则会丢失LZMA的字典状态，导致压缩率骤降且无法正常解压。
• 设置双缓冲区：
  • 原文件读取缓冲区：大小设为4KB~32KB（可根据客户虚拟机内存微调），既不会占用过多内存，又能保证基础压缩效率。
  • 256字节发送缓冲区：专门用于暂存压缩后的数据，满额发送。
• 流式循环处理：
  1. 循环读取原文件块到读取缓冲区，调用LzmaCompressUpdate进行流式压缩，输出到临时压缩缓冲区。
  2. 将临时压缩缓冲区的数据写入发送缓冲区：若发送缓冲区剩余空间足够则全量拷贝；若不足则先填满缓冲区并发送，再将剩余压缩数据存入缓冲区。
  3. 文件读取完毕后，调用LzmaCompressFinish获取压缩收尾数据，同样按规则攒包发送。
• 资源清理：关闭文件，调用LzmaCompressEnd释放压缩上下文，清空缓冲区。

C++核心代码示例 #

#include <cstdio>
#include <cstring>
#include "tinylzma.h"

#define READ_BLOCK_SIZE 4096    // 可根据内存调整，推荐4KB-32KB
#define SEND_BUF_SIZE 256       // 传输上限
#define COMPRESS_TEMP_SIZE (READ_BLOCK_SIZE * 2)  // 预留膨胀空间

int main() {
    FILE* src_file = fopen("large_file.bin", "rb");
    if (!src_file) {
        // 错误处理：文件打开失败
        return -1;
    }

    // 初始化TinyLZMA压缩上下文，级别6平衡内存与压缩率
    LzmaCompressContext ctx;
    if (LzmaCompressInit(&ctx, 6) != LZMA_OK) {
        fclose(src_file);
        return -1;
    }

    unsigned char read_buf[READ_BLOCK_SIZE];
    unsigned char send_buf[SEND_BUF_SIZE];
    unsigned char compress_temp[COMPRESS_TEMP_SIZE];
    size_t send_buf_pos = 0;  // 发送缓冲区当前填充位置

    size_t bytes_read;
    while ((bytes_read = fread(read_buf, 1, READ_BLOCK_SIZE, src_file)) > 0) {
        size_t in_pos = 0;
        size_t out_pos = 0;

        // 流式压缩当前读取块
        while (in_pos < bytes_read) {
            size_t in_remaining = bytes_read - in_pos;
            size_t out_remaining = COMPRESS_TEMP_SIZE - out_pos;
            LzmaCompressUpdate(&ctx, compress_temp + out_pos, &out_remaining, read_buf + in_pos, &in_remaining);
            
            in_pos += in_remaining;
            out_pos += out_remaining;

            // 攒包到发送缓冲区，满则发送
            while (out_pos > 0) {
                size_t copy_len = (SEND_BUF_SIZE - send_buf_pos) < out_pos ? (SEND_BUF_SIZE - send_buf_pos) : out_pos;
                memcpy(send_buf + send_buf_pos, compress_temp, copy_len);
                send_buf_pos += copy_len;
                memmove(compress_temp, compress_temp + copy_len, out_pos - copy_len);
                out_pos -= copy_len;

                if (send_buf_pos == SEND_BUF_SIZE) {
                    // 替换为你的网络发送逻辑，比如TCP/UDP发送函数
                    // send(sock_fd, send_buf, SEND_BUF_SIZE, 0);
                    send_buf_pos = 0;
                }
            }
        }
    }

    // 处理压缩收尾数据
    size_t finish_out_len = COMPRESS_TEMP_SIZE;
    LzmaCompressFinish(&ctx, compress_temp, &finish_out_len);
    size_t remaining = finish_out_len;
    while (remaining > 0) {
        size_t copy_len = (SEND_BUF_SIZE - send_buf_pos) < remaining ? (SEND_BUF_SIZE - send_buf_pos) : remaining;
        memcpy(send_buf + send_buf_pos, compress_temp + (finish_out_len - remaining), copy_len);
        send_buf_pos += copy_len;
        remaining -= copy_len;

        if (send_buf_pos == SEND_BUF_SIZE) {
            // send(sock_fd, send_buf, SEND_BUF_SIZE, 0);
            send_buf_pos = 0;
        }
    }

    // 发送最后剩余的字节
    if (send_buf_pos > 0) {
        // send(sock_fd, send_buf, send_buf_pos, 0);
    }

    // 清理资源
    LzmaCompressEnd(&ctx);
    fclose(src_file);
    return 0;
}

关键注意事项 #

• 压缩上下文复用：全程必须使用同一个压缩上下文，不能频繁初始化/销毁，否则会破坏LZMA的字典状态，压缩率会降到和逐块独立压缩一样低，甚至解压失败。
• 缓冲区大小容错：临时压缩缓冲区要预留足够空间应对数据膨胀（比如原文件已经是高压缩率格式），建议设为读取块大小的2倍。
• 网络发送可靠性：如果用TCP，要检查send的返回值，确保所有字节都发送成功（可能需要循环发送直到全部送出）；如果用UDP，需要自行实现丢包重传逻辑。
• 内存占用控制：读取块大小不要超过客户虚拟机的可用内存，若内存极小，可将读取块降到1KB，但会小幅降低压缩率。

内容的提问来源于stack exchange，提问作者David