Python 3.12.0 SharedMemory内存泄漏问题排查求助

核心判断：优先排查代码逻辑漏洞 #

你的场景中，资源泄漏计数累积、跨进程unlink报错的表现，绝大多数是代码层面的资源生命周期管理问题，Python 3.12.0的SharedMemory虽有少量已知问题，但不会导致这类规律性的错误。

具体排查点与修复方向 #

1. 自定义上下文管理器的资源释放逻辑错误 #

自定义上下文管理器必须严格区分close()和unlink()的作用：

• close()：释放当前进程对共享内存的引用，所有使用共享内存的进程都需要调用
• unlink()：彻底销毁共享内存段，只能由创建共享内存的进程（或最后一个退出的进程）调用

常见错误：

• 所有进程都调用unlink()：读进程提前销毁共享内存，导致写进程后续操作或unlink时触发FileNotFoundError
• 上下文管理器的__exit__未覆盖异常场景：如果线程中抛出异常，未执行close()导致资源泄漏

修复示例（区分创建者与使用者）：

import multiprocessing.shared_memory as shm
import threading

class SHMWriterManager:
    def __init__(self, size=1024):
        # 创建共享内存（作为创建者）
        self.shm = shm.SharedMemory(create=True, size=size)
        self.update_thread = None
        self._stop_event = threading.Event()

    def _update_shm(self):
        # 线程内响应终止信号，避免强制join残留引用
        while not self._stop_event.is_set():
            # 此处替换为Socket读取并更新共享内存的逻辑
            pass

    def __enter__(self):
        self.update_thread = threading.Thread(target=self._update_shm)
        self.update_thread.start()
        return self.shm

    def __exit__(self, exc_type, exc_val, exc_tb):
        # 终止线程并等待结束
        self._stop_event.set()
        if self.update_thread:
            self.update_thread.join(timeout=5)
        # 释放当前进程引用
        self.shm.close()
        # 作为创建者，销毁共享内存段
        self.shm.unlink()

class SHMReaderManager:
    def __init__(self, name):
        # 连接已存在的共享内存（作为使用者）
        self.shm = shm.SharedMemory(name=name, create=False)

    def __enter__(self):
        return self.shm

    def __exit__(self, exc_type, exc_val, exc_tb):
        # 仅释放当前进程引用，不执行unlink
        self.shm.close()

2. 线程生命周期未与共享内存绑定 #

写进程的更新线程如果在上下文管理器退出后仍在运行，会持有共享内存对象的引用，导致主线程退出时资源跟踪器误判为泄漏。必须确保：

• 在__exit__中用事件信号终止线程，而非强制kill
• 调用join()等待线程完全结束，避免残留引用

3. 自动生成名称场景的资源累积问题 #

使用自动生成名称时，每次调用上下文管理器都会创建新的共享内存段，如果旧的段未被正确unlink，会导致：

• 资源跟踪器的泄漏计数持续增加
• 系统中残留大量无主共享内存段

修复：确保每个创建的共享内存段都在对应的上下文管理器__exit__中执行unlink()，或在程序启动时清理残留资源（仅Linux/macOS有效）：

def cleanup_stale_shm():
    import os
    for entry in os.scandir("/dev/shm"):
        if entry.name.startswith("psm_"):  # Python SharedMemory默认前缀
            try:
                stale_shm = shm.SharedMemory(name=entry.name[4:], create=False)
                stale_shm.unlink()
            except Exception:
                pass

4. 版本问题验证 #

如果以上代码调整后问题仍存在，可验证是否为Python版本bug：

• 升级到Python 3.12.1+（修复了多个SharedMemory资源跟踪器的小问题）
• 降级到Python 3.11.x，对比是否出现相同问题
• 如果版本切换后问题消失，可确认是Python 3.12.0的特定版本bug

总结 #

优先检查上下文管理器的close()/unlink()调用逻辑、线程生命周期管理，这是此类问题的核心原因。版本bug仅为边缘场景，需在代码逻辑验证无误后再考虑。

内容的提问来源于stack exchange，提问作者Jacek Błocki