Python线程报错：无法启动新线程，如何复用25个线程？

这个问题太常见啦——一次性创建上千个线程肯定会触发系统的线程资源限制，毕竟每个线程都要占用内存和系统调度资源。要实现全程只复用25个线程，最靠谱的办法就是用线程池，Python里有两种简单的实现方式，给你详细说说：

这是Python标准库提供的线程池实现，用法超级简洁，不需要手动管理线程的生命周期，它会自动帮你复用指定数量的线程。

示例代码： #

from concurrent.futures import ThreadPoolExecutor
import threading

def function2(task_data):
    # 这里替换成你原本的function2业务逻辑
    # task_data可以是每次循环需要处理的参数
    print(f"线程 {threading.current_thread().name} 正在处理任务: {task_data}")

def main():
    # 创建一个固定25个线程的线程池
    with ThreadPoolExecutor(max_workers=25) as executor:
        # 循环68次，把所有任务提交给线程池
        for task_id in range(68):
            executor.submit(function2, task_id)  # 将任务参数传给function2

if __name__ == "__main__":
    main()

工作原理： #

• max_workers=25直接指定了线程池的大小，全程只会创建这25个线程。
• 你提交的68个任务会被线程池的任务队列管理，当某个线程完成当前任务后，会自动去队列里取下一个任务执行，完美实现线程复用。
• with语句会自动帮你关闭线程池，等待所有任务执行完成，不用手动处理线程的终止。

如果你想更深入理解线程复用的底层逻辑，可以用Queue来做任务调度，手动创建25个线程让它们循环处理队列里的任务。

示例代码： #

import threading
from queue import Queue

def worker(task_queue):
    # 线程会一直循环从队列取任务，直到收到结束信号
    while True:
        task_data = task_queue.get()
        if task_data is None:  # 收到结束标记，退出循环
            break
        # 执行原本的function2逻辑
        function2(task_data)
        task_queue.task_done()  # 告诉队列当前任务已完成

def function2(task_data):
    print(f"线程 {threading.current_thread().name} 正在处理任务: {task_data}")

def main():
    # 创建任务队列
    task_queue = Queue()
    
    # 启动25个工作线程
    worker_threads = []
    for _ in range(25):
        thread = threading.Thread(target=worker, args=(task_queue,))
        thread.start()
        worker_threads.append(thread)
    
    # 把68个任务放入队列
    for task_id in range(68):
        task_queue.put(task_id)
    
    # 等待队列里所有任务都被处理完成
    task_queue.join()
    
    # 给每个线程发送结束信号（None）
    for _ in range(25):
        task_queue.put(None)
    
    # 等待所有线程正常退出
    for thread in worker_threads:
        thread.join()

if __name__ == "__main__":
    main()

工作原理： #

• 25个worker线程启动后会一直阻塞在task_queue.get()，直到队列里有任务。
• 当你把68个任务放入队列后，线程会依次取出执行，完成一个任务后又会回到队列等待下一个，实现复用。
• 所有任务完成后，我们给队列放入25个None，让每个线程收到后退出循环，最后等待所有线程结束。

总结 #

如果只是想快速解决问题，优先用ThreadPoolExecutor，代码更简洁，出错概率更低。手动用Queue的方式适合学习线程调度的底层逻辑，帮助你理解线程复用的本质。

内容的提问来源于stack exchange，提问作者Heli Mistry