内存已满时向Python multiprocessing.Pipe的Connection写入会发生什么？

场景结论 #

你描述的生产者速度快于消费者的场景下，默认会触发第一种情况：写入操作被阻塞延迟，直到有更多可用空间，不会出现Python层面抛出OOM异常的情况。

阻塞行为的配置方式 #

默认的multiprocessing.Pipe返回的Connection对象为阻塞模式：当内核层面的管道缓冲区被未消费的数据完全占满时，进程A的send()调用会直接挂起，直到进程B调用recv()读取数据释放缓冲区空间后才会继续执行。
如果需要调整默认阻塞逻辑，可通过以下方式配置：

• 开启非阻塞模式：调用Connection.setblocking(False)将连接改为非阻塞状态，此时缓冲区已满时调用send()会直接抛出BlockingIOError，你可以自行捕获该异常实现自定义降级逻辑（比如数据落盘、丢弃非核心数据等）
• 写入前检测可写状态：调用Connection.poll(timeout, selectors.EVENT_WRITE)提前检测管道是否有可写空间，仅当返回True时执行写入操作，避免进程无限制挂起

极端系统级OOM的处理逻辑 #

如果管道堆积的数据量极大，耗尽了系统全部可用内存，此时会触发操作系统内核的OOM Killer机制：

• 不会在Python进程中抛出OOM异常，而是由操作系统直接选择占用内存高、优先级低的进程强制终止
• 仅被OOM Killer选中的单个进程会被终止（通常是内存占用更高的生产者进程A），不会直接导致整个多进程系统崩溃，除非你额外实现了子进程退出联动终止所有进程的逻辑

内容的提问来源于stack exchange，提问作者factoriel