Linux下Python如何动态向Spawn模式的mp.Process传递mp.Lock？

我尝试将mp.Lock对象传递给多个子mp.Process实例，但受限于某些约束，无法在mp.Process初始化时将mp.Lock作为参数传入，也无法通过子类化mp.Process将锁作为成员变量。我需要为这些子进程动态提供锁——而Python似乎对此加以限制。

我了解Linux支持命名锁/信号量以及信号量/锁的共享功能，仅需在Linux系统上实现该功能，无需考虑Windows兼容性，且涉及的mp.Process采用Spawn模式而非Fork模式启动。

请问在Python中是否存在可行的变通方案，能在运行时在进程间传递锁？例如创建命名信号量，或是将mp.Lock放入SharedMemory缓冲区中？

查阅Python 3.8源码后，我发现上述两种理论方案似乎都不可行，但在POSIX系统上，Spawn模式启动的mp.Process似乎使用命名信号量作为底层同步原语，因此或许可以（非Pythonic地）访问隐藏成员mp.Lock._semlock.name，并从其他进程中打开该特定SemLock。

针对Linux下Spawn模式的多进程场景，有两种有效的实现方式：

1. 复用mp.Lock底层的命名信号量 #

在POSIX系统中，multiprocessing.Lock基于_multiprocessing.SemLock实现，Spawn模式下创建的锁会使用命名信号量。具体步骤如下：

• 父进程创建mp.Lock后，提取其隐藏属性lock._semlock.name，该值是对应POSIX命名信号量的唯一名称（格式类似/mp-sem.{随机字符串}）。
• 通过环境变量、共享内存或其他进程间通信方式，将这个名称传递给子进程。
• 子进程中直接调用_multiprocessing.SemLock，通过名称打开已存在的信号量，实现锁共享：

  from _multiprocessing import SemLock
  
  # 子进程中获取父进程传递的信号量名称
  sem_name = "获取到的信号量名称"
  # 参数需匹配父进程锁的配置（默认锁的参数为：1, 1, 0）
  shared_lock = SemLock(1, 1, 0, name=sem_name)
  

  注意：该方式依赖Python内部实现细节，不同版本可能存在参数差异，需在目标Python版本（如3.8）中验证。

2. 使用原生POSIX命名信号量 #

通过第三方库posix_ipc直接创建命名信号量，不依赖Python多进程模块的内部逻辑：

• 先安装依赖：pip install posix-ipc
• 父进程中创建命名信号量：

  import posix_ipc
  
  # 创建唯一命名的信号量，initial_value=1对应互斥锁特性
  sem = posix_ipc.Semaphore("/my_unique_lock", flags=posix_ipc.O_CREAT, initial_value=1)
  

• 子进程中通过相同名称打开信号量：

  import posix_ipc
  
  sem = posix_ipc.Semaphore("/my_unique_lock")
  # 使用sem.acquire()和sem.release()实现同步，用法与mp.Lock一致
  

  这种方式更稳定，但需要引入外部依赖。

注意事项 #

• 确保命名信号量的名称在系统中唯一，避免资源冲突。
• 使用完毕后，在父进程中调用sem.unlink()删除信号量，避免残留系统资源。

内容的提问来源于stack exchange，提问作者intenseapple