Python多线程共享变量更新无法跨线程可见的原因及解决方法

问题描述 #

在多线程环境中使用同一全局变量时，出现变量更新后其他线程无法识别的情况。例如以下代码中，主线程更新QUERY变量后，子线程无法读取到最新值，导致预期的Query: a输出缺失：

示例代码 #

import getch
import threading

QUERY = ""
EXIT_THREAD = False
def input_thread():
    global EXIT_THREAD
    last_query = ""
    while not EXIT_THREAD:
        if last_query != QUERY:
            last_query = QUERY
            print(f"Query: {QUERY}")

thread = threading.Thread(target=input_thread)
thread.start()
while True:
    char = getch.getch()
    if char == "\n":
        break
    elif char == "\x7f":
        QUERY = QUERY[:-1]
    else:
        QUERY += char
    print(f"Query1: {QUERY}")
# kill input thread
EXIT_THREAD = True
thread.join()

预期输出 #

当按下a键时：

1. Query1: a
2. Query: a

实际输出 #

仅输出：

1. Query1: a

原因分析 #

1. 内存可见性问题：
   Python线程执行时，可能会将全局变量缓存到线程本地工作内存中。主线程更新内存中的QUERY后，子线程可能仍读取本地缓存的旧值，无法感知内存中的最新变化。

2. 忙等待与GIL调度限制：
   子线程的while循环是无间隙的忙等待，会持续占用CPU资源。Python的全局解释器锁（GIL）会在线程执行一定字节码后切换，但这种忙等待可能导致GIL长时间分配给子线程，主线程更新变量后，子线程无法及时获得执行权检查变化；即使获得执行权，也因无内存屏障触发缓存刷新，依然读取旧值。

修复方法 #

方法1：锁+主动休眠（简单易实现） #

通过threading.Lock保护共享变量的读写，避免竞态条件；同时让子线程主动休眠，让出CPU并触发内存屏障，确保读取到最新值：

import getch
import threading
import time

QUERY = ""
EXIT_THREAD = False
lock = threading.Lock()

def input_thread():
    global EXIT_THREAD, QUERY
    last_query = ""
    while not EXIT_THREAD:
        # 加锁读取最新的QUERY值
        with lock:
            current_query = QUERY
        if last_query != current_query:
            last_query = current_query
            print(f"Query: {current_query}")
        # 主动休眠，让出CPU并触发缓存刷新
        time.sleep(0.01)

thread = threading.Thread(target=input_thread)
thread.start()

while True:
    char = getch.getch()
    if char == "\n":
        break
    elif char == "\x7f":
        with lock:
            QUERY = QUERY[:-1]
    else:
        with lock:
            QUERY += char
    print(f"Query1: {QUERY}")

# 终止子线程
EXIT_THREAD = True
thread.join()

方法2：Condition高效通知（性能更优） #

利用threading.Condition实现主线程更新变量后主动通知子线程，避免忙等待，同时保证内存可见性：

import getch
import threading

QUERY = ""
EXIT_THREAD = False
cond = threading.Condition()

def input_thread():
    global EXIT_THREAD, QUERY
    last_query = ""
    while not EXIT_THREAD:
        with cond:
            # 等待主线程的更新通知
            cond.wait()
            current_query = QUERY
        if last_query != current_query:
            last_query = current_query
            print(f"Query: {current_query}")

thread = threading.Thread(target=input_thread)
thread.start()

while True:
    char = getch.getch()
    if char == "\n":
        break
    elif char == "\x7f":
        with cond:
            QUERY = QUERY[:-1]
            # 更新后通知子线程
            cond.notify()
    else:
        with cond:
            QUERY += char
            cond.notify()
    print(f"Query1: {QUERY}")

# 终止子线程前先唤醒等待的线程
with cond:
    EXIT_THREAD = True
    cond.notify()
thread.join()

内容的提问来源于stack exchange，提问作者fnclovers