设置maxtasksperchild的multiprocessing.Pool内存尖刺增长原因问询

核心原因：频繁fork新worker进程触发写时复制（COW）的内存复制 #

当你设置maxtasksperchild=1时，每个worker进程处理完1个任务就会被销毁，主进程需要持续fork新的worker进程来补充池的容量。这个fork过程会引发以下连锁反应：

• 写时复制机制的触发：在Linux/macOS系统中，fork创建子进程时会采用写时复制（Copy-On-Write）策略——子进程会共享父进程（主进程）的内存页表，而非立即复制所有内存。但当worker进程通过pandas.read_parquet加载parquet文件时，会修改自身内存空间，这会触发COW，将主进程中被共享的内存页完整复制一份到worker进程，直接导致内存瞬时飙升。
• 尖刺持续增长的根源：主进程一直在聚合处理结果，内存占用会随着任务推进不断升高。每次新fork的worker都会继承当前主进程的内存页表，当这些worker触发COW时，复制的内存量会随着主进程内存的增长而变大，最终表现为内存尖刺的高度持续上升。

为什么maxtasksperchild=None时没有尖刺？ #

当设置maxtasksperchild=None，worker进程会被持续复用，不会频繁销毁和重建。worker处理完一个任务后，会释放加载parquet数据占用的内存（或被后续任务复用），不需要重新fork新进程，也就不会触发基于主进程内存的COW复制，内存使用因此保持稳定。

内容的提问来源于stack exchange，提问作者Alexandru Dinu