Python线程在thread.join()处随机终止问题排查求助

我实现了一个Python方法，通过创建4个线程并行处理数据，逻辑上需要等待所有线程执行完毕后再继续后续流程。但实际运行时，程序会随机在thread.join()处终止，完全无法执行后续代码。尝试改用concurrent.futures.ThreadPoolExecutor重构代码后，问题依然存在。

排查结论 #

经过定位，确定问题根源在于所使用的第三方包eye_game——它的内部实现与Python线程模型存在兼容性冲突，导致线程阻塞无法正常退出。

解决方案 #

将线程池替换为进程池concurrent.futures.ProcessPoolExecutor，利用多进程的隔离特性规避该兼容性问题，最终程序可以稳定等待所有任务完成后执行后续逻辑。

存在问题的线程实现代码 #

import threading
from eye_game import process_data

def worker(data_chunk):
    process_data(data_chunk)

def main():
    data_chunks = [chunk1, chunk2, chunk3, chunk4]
    threads = []
    for chunk in data_chunks:
        t = threading.Thread(target=worker, args=(chunk,))
        t.start()
        threads.append(t)
    
    # 随机在此处阻塞终止
    for t in threads:
        t.join()
    
    print("所有线程完成，执行后续逻辑")

if __name__ == "__main__":
    main()

修改后的进程池实现代码（问题解决） #

from concurrent.futures import ProcessPoolExecutor
from eye_game import process_data

def worker(data_chunk):
    process_data(data_chunk)

def main():
    data_chunks = [chunk1, chunk2, chunk3, chunk4]
    
    with ProcessPoolExecutor(max_workers=4) as executor:
        executor.map(worker, data_chunks)
    
    print("所有进程任务完成，执行后续逻辑")

if __name__ == "__main__":
    main()

内容的提问来源于stack exchange，提问作者stuckoverflow