不依赖libarchive时，如何处理包含10GB文件的TAR归档？

1. 传统UStar头大文件长度解析问题 #

你提到12位八进制理论支持64GB，但实际解析失败，核心问题大概率是解析代码的符号处理错误：

• 传统UStar的长度字段是12位无符号八进制，但部分老解析代码（包括你用的untar.c可能存在这个问题）会把它当成有符号数解析。当文件大小超过2^31（2GB）时，八进制字符串的最高位会是'1'，带符号解析会溢出成负数或无效值，导致校验和不匹配（因为校验和计算包含长度字段）。
• 修复方式：把长度解析逻辑改成无符号八进制转64位整数，比如用strtoull(len_str, NULL, 8)替代带符号的转换函数（比如atoi或strtol）。

2. 需要兼容的TAR变体与扩展头 #

如果是生成工具用了扩展格式，你需要识别并处理以下情况：

• pax扩展头（POSIX.1-2001）：
  • 标识：第一个条目类型位（偏移156）为'x'，文件名是././@PaxHeader。
  • 作用：当文件大小、路径等超出UStar限制时，生成工具会先写入这个扩展头条目，里面用键值对（比如size=10737418240）存储真实的十进制长度。解析时需要先读取整个扩展头数据（长度按头中字段取整到512字节倍数），提取size值覆盖原头的长度字段。
• GNU TAR扩展格式：
  • 标识：头偏移263-265为"GNU"（UStar标识之后）。
  • 旧版处理：若长度字段的八进制最高位为'1'，则按带符号补码解析（用strtoll转成64位整数后再转无符号）。
  • 新版处理：优先支持pax扩展头，和标准格式一致。

3. 核心参考文档 #

• POSIX.1-2001标准的pax规范：定义了扩展头的结构与键值对格式。
• GNU tar官方手册「Large Files」章节：详细说明GNU格式对大文件的兼容方案。
• UStar原始规范（POSIX.1-1988）：基础512字节头结构的定义。

4. 适配内存映射流式解析的实现要点 #

• 内存映射整个归档后，按512字节块对齐遍历：
  1. 读取当前512字节头块，先计算校验和：计算时将偏移148-155的校验和字段视为空格（0x20），再与头中存储的八进制校验和对比。
  2. 解析类型位：
     • 若为'x'（pax扩展头）：读取扩展头数据块（长度按头中值取整到512倍数），解析键值对获取真实文件参数。
     • 若为普通文件（'0'或'\0'）：用解析后的文件大小计算数据块的起始偏移（当前头偏移+512）和结束偏移（起始偏移 + ((size + 511) & ~511)），直接用内存映射指针生成引用记录，无需复制数据。
  3. 跳过已处理的块（头块+数据块），继续遍历下一个条目。

内容的提问来源于stack exchange，提问作者ddevienne