Python文件锁问题：read/write锁机制与pickle文件多线程读写方案

• Python标准内置的file.read()、file.write()方法本身没有自带进程级或线程级的锁机制，其底层直接调用操作系统原生I/O接口
• 单进程内的多线程场景下，受CPython全局解释器锁（GIL）限制，同一时间只会有一个线程执行字节码，单次read()/write()调用的字节码执行是原子的，但如果是多次分块读写操作，仍然可能出现执行顺序穿插，导致数据错乱
• 跨进程场景下完全没有任何保护机制，多个进程同时读写同一个文件必然会出现竞态条件，读写操作可以同时触发，但结果不可预期，大概率会出现脏读、写入内容截断/覆盖等问题
• 注意：部分操作系统对小于特定大小（通常为4KB）的单次write调用提供原子性保证，但这属于操作系统特性，和Python本身无关，不建议作为跨场景的可靠依赖

可以采用分层锁设计，区分线程内和跨进程场景，既保证安全又最大化性能：

核心实现逻辑 #

• 同进程内的多线程读写，优先使用进程内读写锁（可直接用Python 3.9+标准库threading.RWLock，或第三方库readerwriterlock的兼容实现），读操作共享锁、写操作独占锁，避免无意义的文件系统级锁开销
• 仅当检测到存在跨进程访问需求时，才额外叠加文件级锁（Linux/macOS可通过fcntl实现，Windows可通过msvcrt实现）

落地优化建议 #

• 可在pickle文件同目录下新增一个标记文件，当有其他进程需要访问该pickle文件时创建该标记，程序检测到标记存在时自动启用文件锁，否则仅使用进程内读写锁即可
• 模型更新时采用「写临时文件+原子重命名」的方式替换原文件，避免写入过程中读请求拿到残缺数据：
  1. 写操作首先将新的序列化内容写入同目录下的临时文件
  2. 完成写入后调用os.replace()接口原子替换原pickle文件
  3. 这种方式下，同进程内的读请求甚至可以不加锁，每次读直接打开最新的文件即可，仅跨进程场景需要加锁避免多个进程同时替换文件
• 如果读请求非常频繁，可以在进程内维护一份pickle对象的内存缓存，文件更新后主动失效缓存，避免反复读磁盘，进一步提升性能

内容的提问来源于stack exchange，提问作者Apoorv Jain