多帧ZSTD文件content_size与原文件大小不匹配的原因？

原因分析 #

你看到的18446744073709551615是uint64类型的最大值，对应zstd定义的ZSTD_CONTENTSIZE_UNKNOWN，代表当前frame的头部没有记录原始内容的真实大小。

出现这个问题的核心原因是你同时启用了多线程压缩（threads=5）和write_content_size=True：
zstd的多线程流式压缩模式下，数据是分块并行处理的，压缩器在生成frame头部时无法提前获知整个输入流的总大小，因此会自动将content_size标记为未知。

解决方案 #

因为你处理的是本地文件，可以提前获取文件的实际大小，在调用copy_stream时通过input_size参数明确告知压缩器原始数据的尺寸。这样即使开启多线程，压缩器也能在frame头部正确写入content_size。

修改后的关键代码片段：

with open(output_file, "wb") as f_out:
    for src in file_to_compress:
        with open(src, "rb") as fin:
            # 传入input_size参数，指定原始文件大小
            cctx.copy_stream(fin, f_out, input_size=src.stat().st_size)

验证效果 #

修改后重新运行代码，你会发现frame的content_size会和原文件的st_size数值一致，满足后续随机读取时的索引需求。

内容的提问来源于stack exchange，提问作者Akira