Python asyncio：使用ThreadPoolExecutor的run_in_executor时需同步共享变量吗？

你的理解完全正确——当使用run_in_executor搭配默认的ThreadPoolExecutor时，提交的阻塞任务确实是在独立的线程中执行的，和直接用threading模块创建线程的场景没有本质区别。

• 线程池里的任务共享同一个Python进程的内存空间，多个线程同时读写非线程安全的共享变量时，必然会出现竞态条件，导致数据错误。
• 你需要像普通多线程编程那样，使用threading.Lock、threading.RLock这类线程同步原语来保护共享变量的访问，不能用asyncio.Lock这类协程锁——因为线程池任务是同步执行的代码，协程锁无法跨线程生效，还可能引发错误。

举个简单的例子：

import asyncio
from concurrent.futures import ThreadPoolExecutor
import threading

shared_counter = 0
lock = threading.Lock()

def blocking_task():
    global shared_counter
    # 必须用线程锁保护共享变量的读写
    with lock:
        temp = shared_counter
        # 模拟阻塞操作
        import time
        time.sleep(0.1)
        shared_counter = temp + 1

async def main():
    executor = ThreadPoolExecutor(max_workers=5)
    tasks = [asyncio.get_event_loop().run_in_executor(executor, blocking_task) for _ in range(10)]
    await asyncio.gather(*tasks)
    print(f"Final counter value: {shared_counter}")

asyncio.run(main())

如果去掉with lock:这段代码，最终的shared_counter大概率会小于10，这就是竞态条件导致的问题。

Asyncio在这个场景下并没有特殊的处理机制，因为run_in_executor只是把同步任务“桥接”到线程池执行，本质还是多线程环境，所以线程安全的规则和普通多线程编程完全一致。

内容的提问来源于stack exchange，提问作者coolio