如何处理Python使用多线程时因未正确终止线程引发的内存不足错误
Python线程安全终止与内存泄漏解决方案
你当前的内存泄漏核心原因是线程运行结束后未主动回收资源,且无复用线程机制,大量线程对象的残留上下文、栈内存逐步堆积。Python官方不建议强制终止运行中的线程,会引发锁未释放、临时资源未清理、业务数据损坏等不可预期问题,以下是适配你场景的可落地方案:
- 方案1:手动维护线程列表+主动回收已结束线程
你可以把所有启动的线程存入全局列表,每次调用worker()时先遍历列表清理已结束的线程,调用join()回收其资源:import threading thread_list = [] number_of_active_threads = 0 def worker(): global number_of_active_threads # 先清理已结束的线程 alive_threads = [] for t in thread_list: if t.is_alive(): alive_threads.append(t) else: t.join() # 回收结束线程的资源 number_of_active_threads -= 1 thread_list[:] = alive_threads if nextJobActive() and number_of_active_threads < 5: t = threading.Thread(target=startThread, args=(my_list, my_item)) t.start() thread_list.append(t) number_of_active_threads += 1 def startThread(): # 业务逻辑执行完成后线程会自动退出,等待后续join回收资源 # 此处执行业务逻辑,单次运行耗时约15分钟 - 方案2:使用线程池自动管理线程生命周期(最适配你的场景)
你的场景需要固定并发数(最多5个)、持续提交新任务,用concurrent.futures.ThreadPoolExecutor可以自动复用线程、回收资源,完全不需要手动管理线程启停,从根源避免内存泄漏:
额外说明:如果需要主动停止所有运行中任务,可以给业务逻辑加全局退出标志位,业务逻辑每执行一段就检查标志位,主动清理资源后退出:from concurrent.futures import ThreadPoolExecutor import time # 初始化最多5个线程的固定线程池,线程会自动复用,不会反复创建销毁 executor = ThreadPoolExecutor(max_workers=5) def worker(): if nextJobActive(): # 提交任务到线程池,池子里有空闲线程就会自动执行,满了就排队 executor.submit(startThread, my_list, my_item) def startThread(my_list, my_item): #此处执行业务逻辑,单次运行耗时约15分钟# 全局退出标志位 stop_flag = False def startThread(my_list, my_item): # 示例:业务逻辑分多段执行,每段执行前检查退出标志 for step in range(业务步骤数): if stop_flag: # 主动清理临时资源后退出 return # 执行当前步骤的业务逻辑 - 方案3:设置守护线程(仅适合允许任务中断的场景)
如果你的业务允许主线程退出时直接中断未完成的任务,可以在创建线程时设置daemon=True,守护线程会随主线程退出自动终止:
注意:该方案不会等待线程任务执行完成,若业务要求每个任务必须跑完则禁止使用t = threading.Thread(target=startThread, args=(my_list, my_item), daemon=True)
内容的提问来源于stack exchange,提问作者Cenk Ten
相关产品推荐
相关产品推荐

