Python线程编译为Cython后阻塞问题求助

问题本质 #

你遇到的是Cython编译时的GIL（全局解释器锁）优化问题：在CPython环境中，字节码执行会定期自动释放GIL，子线程有机会获取GIL并读取tracker["running"]的最新值；但Cython将代码编译为接近原生的静态代码后，默认不会在循环中主动释放GIL，导致子线程一直占用GIL，主线程修改tracker["running"]后，子线程完全没机会读取新值，陷入无限循环。

而添加print语句后能正常运行，是因为print属于IO操作，这类操作会主动触发GIL释放，子线程释放GIL后，主线程才能完成状态修改，子线程再次获取GIL时就能读到更新后的running值，从而退出循环。

解决方案 #

1. 主动在循环中释放GIL

修改count函数，在循环体内主动释放GIL，给主线程获取锁的机会。可以用Cython的原生语法实现：

import time
from cpython cimport Py_BEGIN_ALLOW_THREADS, Py_END_ALLOW_THREADS

def count(dict tracker):
    cdef double start = time.time()
    while tracker["running"]:
        tracker["count"] += 1
        # 临时释放GIL，让主线程有机会修改状态
        Py_BEGIN_ALLOW_THREADS
        # 空操作即可触发GIL释放，也可加极短休眠
        Py_END_ALLOW_THREADS
    cdef double end = time.time()
    print(f"Counted to: {tracker['count']} in {end - start} seconds")

或者用更简洁的with nogil块（注意字典操作必须在GIL下执行，仅在非Python对象操作时释放GIL）：

import time

def count(dict tracker):
    cdef double start = time.time()
    while tracker["running"]:
        tracker["count"] += 1
        # 短暂释放GIL
        with nogil:
            pass
    cdef double end = time.time()
    print(f"Counted to: {tracker['count']} in {end - start} seconds")

2. 使用线程安全的同步原语

将普通字典的状态标记换成threading.Event()，它是线程安全的，且Cython对Python线程原语的处理会自动管理GIL：
修改后的count.py代码：

import threading
import time

def count(running_event: threading.Event, count: list):
    start = time.time()
    while not running_event.is_set():
        count[0] += 1
    end = time.time()
    print(f"Counted to: {count[0]} in {end - start} seconds")

def count_launcher():
    running_event = threading.Event()
    count = [0]  # 用列表实现可变整数传递
    t = threading.Thread(target=count, args=(running_event, count), daemon=True)
    t.start()

    print("Started the counting process...")
    time.sleep(2)
    running_event.set()
    t.join()

对应的main.py修改为：

from count import count_launcher

if __name__ == "__main__":
    count_launcher()

这种方式无需手动管理GIL，代码更简洁且线程安全。

3. 禁用Cython的循环优化

在.pyx文件顶部添加编译指令，强制关闭循环相关的优化，让代码保持类似CPython的字节码执行逻辑：

# cython: boundscheck=True, wraparound=True, nonecheck=True, cdivision=False

不过这种方式会降低Cython的编译性能，仅作为临时调试方案。

总结 #

Cython的静态编译优化虽然提升了性能，但也改变了CPython默认的GIL调度逻辑。解决这类线程阻塞问题的核心是主动管理GIL或使用线程安全的同步机制，而依赖print这类IO操作触发GIL释放只是权宜之计，不能作为正式解决方案。

内容的提问来源于stack exchange，提问作者Muhammad Hawash