Python线程安全字典实现是否正确？解决迭代尺寸变更异常

嘿，这个问题我太熟悉了！你用带可重入锁的ThreadSafeDict来解决多线程下字典迭代报错的思路是对的，但具体能不能彻底解决问题，得看你的实现细节有没有踩坑。

你遇到的RuntimeError: dictionary changed size during iteration本质是：当一个线程在迭代字典的键/值/项时，另一个线程修改了字典的大小（新增或删除键），这时候字典的迭代器会直接抛出异常——因为Python的普通字典不是线程安全的，迭代过程不允许结构被修改。

• 用可重入锁（RLock）而非普通Lock：适合同一个线程可能多次获取锁的场景（比如你的inotify线程可能在持有锁的情况下调用多个字典方法，甚至递归操作），普通Lock会导致同一线程重复获取锁时死锁，RLock则允许这种操作。
• 所有操作都要加锁：不管是读取（get、[]取值）、修改（[]赋值、del、update）还是迭代（for k in dict、keys()、items()），都必须在锁的保护下执行。
• 迭代操作要返回副本的迭代器：这是最容易踩坑的点！如果只是在获取迭代器的时候加锁，迭代过程中锁释放了，其他线程还是能修改字典。正确的做法是在加锁状态下把字典的键/值/项复制成列表，再返回列表的迭代器——这样迭代的是副本，原字典修改不会影响迭代过程。

import threading
from collections.abc import MutableMapping

class ThreadSafeDict(MutableMapping):
    def __init__(self, *args, **kwargs):
        self._inner_dict = dict(*args, **kwargs)
        self._lock = threading.RLock()

    # 读取操作加锁
    def __getitem__(self, key):
        with self._lock:
            return self._inner_dict[key]

    def get(self, key, default=None):
        with self._lock:
            return self._inner_dict.get(key, default)

    # 修改操作加锁
    def __setitem__(self, key, value):
        with self._lock:
            self._inner_dict[key] = value

    def __delitem__(self, key):
        with self._lock:
            del self._inner_dict[key]

    def update(self, other_dict):
        with self._lock:
            self._inner_dict.update(other_dict)

    def clear(self):
        with self._lock:
            self._inner_dict.clear()

    # 迭代相关操作必须返回副本
    def __iter__(self):
        with self._lock:
            # 复制键的列表，迭代副本
            return iter(list(self._inner_dict.keys()))

    def __len__(self):
        with self._lock:
            return len(self._inner_dict)

    def keys(self):
        with self._lock:
            return list(self._inner_dict.keys())

    def values(self):
        with self._lock:
            return list(self._inner_dict.values())

    def items(self):
        with self._lock:
            return list(self._inner_dict.items())

对照下面的点逐一排查：

• 是不是所有涉及字典读写、结构修改的方法都加了RLock？
• 迭代相关的方法（__iter__、keys()、items()等）是不是返回的是字典副本的迭代器，而非原字典的？
• 有没有覆盖所有可能修改字典大小的方法（比如update、clear、pop、popitem等）？

如果这几点都做到了，那你的ThreadSafeDict肯定能解决那个RuntimeError；要是没做到（比如迭代没返回副本），那大概率还是会踩坑。

内容的提问来源于stack exchange，提问作者jno