Python多线程问题：遍历列表时移除元素的无锁并发处理

嘿，这个场景我碰到过好多次——既要让耗时的遍历线程跑起来不被锁拖慢，又要避免写线程删元素时搞出遍历丢元素的问题，对吧？先给你拆解清楚问题，再给几个实用的解决方案：

Python的普通list根本不是线程安全的，要是你直接在一个线程遍历、另一个线程删元素，大概率会出问题：要么迭代器直接炸出RuntimeError（检测到列表大小在迭代中变化），要么就像你担心的那样出现元素“丢失”——比如迭代器刚走到索引5，写线程删了索引3的元素，后面的元素集体前移，迭代器下一次会取索引6，直接跳过了原本索引5的元素（现在变成索引4了）。

下面几个思路都能避免给整个遍历过程加锁，同时解决并发问题：

1. 遍历前先搞个列表快照（最推荐！） #

最简单高效的办法：遍历线程在开始处理前，先复制一份列表的快照，然后遍历这个快照就行。写线程修改原列表完全不影响遍历，连锁都不用加。

def iterate():
    # 用切片做浅拷贝，CPython里这个操作是原子的，瞬间完成
    snapshot = my_list[:]
    for item in snapshot:
        # 放心在这里做耗时的处理，完全不影响写线程
        process_item(item)

注意：如果列表里存的是可变对象（比如字典、自定义类实例），快照里的是引用，要是写线程修改对象内部属性还是会有冲突，但如果只是删除列表元素，这个方法绝对安全。而且写线程的remove_element可以正常跑，完全不会被阻塞。

2. 只在关键步骤加锁（兼顾一致性和性能） #

要是你需要遍历的快照必须是“最新状态”，可以给复制快照和删除元素的瞬间加锁——锁的持有时间极短，写线程几乎不会被阻塞：

import threading

lock = threading.Lock()
my_list = []

def iterate():
    # 只在复制快照时加锁，耗时的遍历逻辑完全无锁
    with lock:
        snapshot = my_list[:]
    for item in snapshot:
        process_item(item)

def remove_element(target_item):
    with lock:
        if target_item in my_list:
            my_list.remove(target_item)

这个方案的锁持有时间只有复制列表和查找删除元素的瞬间，对性能影响微乎其微，同时保证了快照和原列表的一致性。

3. 手动索引遍历（不推荐，容易踩坑） #

要是你实在不想做快照，可以试试手动用索引遍历，但逻辑会很复杂，容易出bug：

def iterate():
    i = 0
    while i < len(my_list):
        item = my_list[i]
        process_item(item)
        # 处理写线程删元素导致的索引偏移问题
        new_len = len(my_list)
        # 如果当前索引已经超出新长度，直接退出
        if i >= new_len:
            break
        # 检查当前元素是否还在原来的位置（避免写线程删了前面的元素导致当前元素前移）
        if my_list[i] != item:
            # 元素变了，说明前面有删除，索引不递增
            continue
        i += 1

这种方法不仅逻辑绕，还可能出现漏遍历或重复遍历的情况，除非万不得已，不建议用。

再敲个黑板：直接遍历原列表的话，迭代器会依赖列表的内部状态（比如长度、元素位置），一旦写线程修改了列表，迭代器的状态就失效了，要么报错，要么出现不可预测的元素丢失，完全不可控。

优先选方案1（快照法），简单高效无锁；如果需要严格的一致性，就用方案2（短时间加锁），性能损失可以忽略。

内容的提问来源于stack exchange，提问作者Pascal