是否存在fork感知的malloc实现？Linux及Python malloc有无该模式？

我们的Python程序先读取大量输入数据，再fork多个工作进程进行处理。原本期望工作进程以共享页形式继承输入数据，以此节省数GB内存——各进程只需只读访问输入，输出各自独立。但该方案失败：这些共享页面很快被各进程复制，原因是每个独立进程的写时复制（CoW）机制被触发。

推测核心原因是malloc/free未感知到受影响页面是共享的：

• 新的malloc或realloc在继承页上分配额外内存时，会触发页错误及CoW
• 即使是free调用，也会更新malloc块头部的“簿记”信息，进而触发页错误

想请教：是否存在能减少此类影响的“fork感知”malloc实现？Linux或Python自带的malloc是否具备“fork感知模式”？

1. 系统与Python默认malloc的情况 #

Linux系统及Python默认使用的ptmalloc2没有专门的fork感知模式，但针对fork场景有基础优化：

• 子进程首次调用malloc时，ptmalloc2会重新初始化线程缓存（tcache）和堆结构，不过这种优化无法完全避免CoW——父进程的堆元数据本身存储在共享页中，子进程操作时仍可能触发写操作。

2. 具备fork感知的第三方malloc实现 #

有几个第三方malloc实现专门针对这类场景做了优化：

• jemalloc：可通过MALLOC_CONF环境变量配置fork_cleanup:true，开启后子进程fork完成后会主动清理继承的堆元数据，改用新内存区域，避免修改共享页触发CoW。Python可通过LD_PRELOAD加载jemalloc替换默认malloc。
• tcmalloc：子进程首次分配内存时会重置线程本地缓存，减少对父进程共享页的写操作，降低CoW触发概率。

3. Python代码层面对策 #

如果不想替换malloc，可通过代码逻辑规避CoW触发：

• fork前完成所有内存预分配：在fork子进程前，让父进程完成所有必要的内存分配（包括预分配足够的内存块），子进程仅做只读操作和写入新分配的独立内存。
• 用只读共享内存存储输入：跳过fork继承的方式，使用multiprocessing.Array或mmap将输入数据放在真正的只读共享内存区域，子进程操作自身堆时不会影响输入数据的共享页。
• 子进程避免调用free：若子进程无需释放父进程分配的内存，尽量避免执行free操作，减少对堆元数据的修改。

内容的提问来源于stack exchange，提问作者Mikhail T.