libarchive技术咨询：如何强制将数据刷入磁盘？或设置内存使用限制？

我来帮你梳理下这个问题——libarchive的默认缓冲机制确实容易让大量数据滞留在内存里，咱们从几个核心点来解决：

一、强制刷写数据与控制内存缓冲 #

libarchive默认会累积数据到内部缓冲满了才写入磁盘，尤其是像7z这类依赖块压缩的格式，缓冲策略更明显。你可以通过以下方式主动干预：

• 手动触发刷写：调用archive_write_flush()函数，它会强制把当前缓冲中的数据写入磁盘（注意：部分压缩格式因算法特性，可能无法完全清空所有缓冲，但能显著降低内存占用）。比如在每添加一定数量的文件后调用一次，就能避免内存持续增长。
• 调整缓冲大小：用archive_write_set_buffer_size()设置内部缓冲的阈值，比如设为65536（64KB），当缓冲数据达到这个大小，libarchive会自动触发写入操作。示例代码：

  archive_write_set_buffer_size(archive, 65536);
  

• 检查回调实现：如果你用了archive_write_open的回调版本，确保你的write回调逻辑正确。只有当缓冲满或者主动调用archive_write_flush()时，回调才会被触发，所以定期调用flush是关键。

二、设置内存使用限制 #

除了调整缓冲，还有这些方式控制内存：

• 选择合适的压缩格式：7z的压缩算法需要更多内存来处理全局压缩块，如果内存紧张，可以换成zip（搭配deflate压缩），它的缓冲策略更灵活，更容易分段刷写。
• 分批次刷写+轮换：结合内存监控，当内存占用达到阈值时，主动关闭当前归档，创建新的归档文件（也就是你提到的轮换机制），这样能把单归档的内存占用控制在合理范围。

三、运行时测量libarchive的内存分配量 #

libarchive没有内置的内存统计API，但你可以通过替换它的内存分配回调来追踪：

1. 自定义malloc、free、realloc的回调函数，在函数里统计内存的分配与释放：

   #include <malloc.h> // 用于malloc_usable_size
   
   static size_t total_libarchive_memory = 0;
   
   static void* custom_malloc(size_t size, void* user_data) {
       void* ptr = malloc(size);
       if (ptr) {
           total_libarchive_memory += malloc_usable_size(ptr);
       }
       return ptr;
   }
   
   static void custom_free(void* ptr, void* user_data) {
       if (ptr) {
           total_libarchive_memory -= malloc_usable_size(ptr);
       }
       free(ptr);
   }
   
   static void* custom_realloc(void* ptr, size_t size, void* user_data) {
       if (ptr) {
           total_libarchive_memory -= malloc_usable_size(ptr);
       }
       void* new_ptr = realloc(ptr, size);
       if (new_ptr) {
           total_libarchive_memory += malloc_usable_size(new_ptr);
       }
       return new_ptr;
   }
   

2. 在初始化archive对象时，设置这些回调：

   struct archive* a = archive_write_new();
   archive_set_memory_callbacks(a, custom_malloc, custom_realloc, custom_free, NULL);
   

这样你就能通过total_libarchive_memory变量实时获取libarchive当前的内存占用，当达到你的限制值时，就可以执行归档轮换。

四、归档轮换的正确流程 #

当需要切换到新归档文件时，按以下步骤操作：

1. 调用archive_write_flush()确保当前所有缓冲数据写入磁盘；
2. 调用archive_write_close()关闭当前归档；
3. 调用archive_write_free()释放当前归档对象的资源；
4. 重新初始化一个新的archive_write对象，配置好格式和压缩参数，开始写入新的归档文件。

你测试的3.2.2和3.6.1版本表现一致，是因为这是libarchive针对压缩格式的设计行为，不是版本bug，上面的方法在这两个版本都能正常工作。

内容的提问来源于stack exchange，提问作者Bogdan