Python中如何实现系统全局、可移植的锁？

你想要的是系统级全局信号量，Python标准库确实没有直接提供开箱即用的对应实现，但可以通过以下几种方式实现：

1. 基于文件系统的文件锁（跨平台通用） #

利用文件系统的排他锁特性，实现跨进程的同步，这是最通用的方案，不依赖额外进程或第三方库。

互斥锁（二元信号量）示例： #

import fcntl
import os

class GlobalSemaphore:
    def __init__(self, name, max_count=1):
        self.max_count = max_count
        # 用全局唯一的文件路径作为锁标识
        self.lock_path = f"/tmp/global_sem_{name}.lock"
        # 确保文件存在
        open(self.lock_path, "a").close()
        self.lock_file = open(self.lock_path, "r+")

    def acquire(self):
        # 获取排他锁，阻塞直到拿到锁
        fcntl.flock(self.lock_file, fcntl.LOCK_EX)
        # 如果要实现计数信号量，需要在这里原子性读取并更新文件中的计数
        # 例如：读取当前值，若小于max_count则递增，否则等待
        pass

    def release(self):
        fcntl.flock(self.lock_file, fcntl.LOCK_UN)

# 使用方式和你期望的一致
lock = GlobalSemaphore("my-system-global-name")
try:
    lock.acquire()
    # 执行你的业务逻辑
finally:
    lock.release()

Windows平台可以替换fcntl为msvcrt的锁函数，实现类似效果。

2. POSIX系统IPC信号量（Linux/macOS） #

通过第三方库posix_ipc直接使用系统级POSIX信号量，这是专门为跨进程同步设计的原语，支持计数信号量。

首先安装依赖：

pip install posix_ipc

示例代码： #

import posix_ipc

class GlobalSemaphore:
    def __init__(self, name, max_count=1):
        # 创建或打开系统级信号量
        self.sem = posix_ipc.Semaphore(
            f"/global_sem_{name}",
            flags=posix_ipc.O_CREAT,
            initial_value=max_count,
            max_value=max_count
        )

    def acquire(self):
        self.sem.acquire()

    def release(self):
        self.sem.release()

# 使用示例
lock = GlobalSemaphore("my-system-global-name")
try:
    lock.acquire()
    # 执行操作
finally:
    lock.release()

3. Windows系统级信号量 #

Windows平台可以用pywin32库调用系统API实现全局信号量：

安装依赖：

pip install pywin32

示例代码： #

import win32event

class GlobalSemaphore:
    def __init__(self, name, max_count=1):
        # 创建或打开全局信号量
        self.handle = win32event.CreateSemaphore(
            None,  # 安全属性，默认即可
            max_count,  # 初始可用数量
            max_count,  # 最大数量
            name  # 全局名称
        )

    def acquire(self):
        # 等待信号量，直到获取成功
        win32event.WaitForSingleObject(self.handle, win32event.INFINITE)

    def release(self):
        # 释放信号量，增加可用数量
        win32event.ReleaseSemaphore(self.handle, 1)

# 使用示例
lock = GlobalSemaphore("my-system-global-name")
try:
    lock.acquire()
    # 执行操作
finally:
    lock.release()

关于你提到的现有信号量 #

• asyncio.BoundedSemaphore：仅用于asyncio协程内部，不能跨进程
• 线程信号量：仅作用于同一进程内的线程
• multiprocessing的信号量：仅能在由同一父进程创建的子进程间同步，无法用于完全独立的进程（除非用multiprocessing.Manager，但依赖Manager进程存活，不是真正的系统级全局信号量）

内容的提问来源于stack exchange，提问作者Keeely