Python集合set[int]的add/remove操作及特定多线程代码的线程安全性咨询

嘿，我来帮你理清楚这段代码的线程安全性问题，结合Python官方文档的说法给你明确的解答：

首先可以直接给结论：这段代码完全不是线程安全的，不管你用哪种Python实现、版本，只要是多线程并发修改这个set，都可能出现KeyError，甚至程序崩溃，更无法保证每个元素都能被移除。具体原因和细节如下：

核心依据：Python官方文档的明确说明 #

Python官方文档明确指出：内置的可变类型（包括set）的绝大多数方法都不是线程安全的。哪怕是在有GIL（全局解释器锁）的CPython中，单个方法调用（比如add()或remove()）也包含多个字节码指令，执行过程中GIL可能会被释放，允许其他线程插入并修改同一个set对象，导致其内部哈希表结构损坏。

为什么会出现KeyError？ #

你的代码中，主线程不断执行data.add(i)，同时提交worker线程执行data.remove(i)。由于add()和remove()都不是原子操作：

• 比如主线程在执行add(i)的过程中（还没完全把i插入到set的哈希表中），worker线程可能已经开始执行remove(i)，此时set的内部状态处于不一致的状态，worker线程会找不到i，抛出KeyError。
• 更严重的是，并发修改可能导致set的哈希表结构被破坏，后续的add/remove操作可能出现各种异常行为，比如明明元素存在却找不到，或者元素被意外删除。

不同Python实现下的情况 #

不管你使用哪种Python实现：

• CPython（带GIL）：GIL只能保证单个字节码指令的原子性，但add()和remove()包含多个字节码，所以依然会出现并发安全问题。
• PyPy（带GIL）：情况和CPython一致，GIL无法保护多步操作的原子性。
• 无GIL的实现（如Jython、IronPython）：没有GIL的限制，并发修改的问题会更明显，线程安全问题会直接暴露出来。

如何保证不出现KeyError且所有元素被移除？ #

只有当对set的所有修改操作都被串行化，才能保证安全。最常用的方式是使用线程锁（比如threading.Lock）来保护所有对set的访问，确保同一时间只有一个线程在修改set。修改后的代码示例如下：

from concurrent.futures import ThreadPoolExecutor
from itertools import count
import threading


def worker(data: set[int], i: int, lock: threading.Lock):
    with lock:
        data.remove(i)


def main():
    data: set[int] = set()
    lock = threading.Lock()
    with ThreadPoolExecutor() as executor:
        for i in count():
            with lock:
                data.add(i)
            executor.submit(worker, data, i, lock)


if __name__ == "__main__":
    main()

在这种情况下，不管使用哪种Python实现或版本，都能保证每个i被成功添加后，对应的worker线程能安全地移除它，不会出现KeyError，所有提交的元素最终都会被从set中移除（注：原程序是无限循环，这里只是保证逻辑上每个元素的add/remove操作安全）。

备注：内容来源于stack exchange，提问作者sashkent3