如何使用Barrier限制Python多线程HTTP请求并发数？

你的代码问题在于只创建了Barrier对象，但完全没用到它，而且一次性启动所有线程，根本没控制住并发数。下面分两种场景给出解决方案：

一、用Barrier实现「分批次执行请求」（每批5个，一批完成再走下一批） #

要让Barrier生效，必须在线程函数里调用wait()方法，同时还要分批次启动线程，避免一次性跑所有任务。

修改后的完整代码：

import threading
from threading import Thread, Barrier

# 初始化Barrier，等待5个线程同步
b = Barrier(5)

def send_request(arg1, arg2):
    try:
        # 等够5个线程后，才一起执行请求
        b.wait()
        # --- 这里写你的HTTP请求逻辑 ---
        print(f"发送请求: {arg1}, {arg2}")
    except threading.BrokenBarrierError:
        # 处理线程异常导致的Barrier失效
        pass

# 示例任务列表，替换成你的实际任务
tasks = [f"task_{i}" for i in range(12)]
threads = []

# 分批次处理，每批5个任务
for batch_start in range(0, len(tasks), 5):
    batch = tasks[batch_start:batch_start+5]
    # 启动当前批次的线程
    for task in batch:
        thread = Thread(target=send_request, args=(task, f"param_{task}"))
        thread.start()
        threads.append(thread)
    # 等待当前批次所有线程完成
    for t in threads[-len(batch):]:
        t.join()
    # 重置Barrier，避免最后一批线程数不足5时一直等待
    b.reset()

补充说明： #

• 原代码的send_request函数缺冒号，属于语法错误，必须补上
• 当任务总数不是5的倍数时，最后一批线程数不够5，必须调用b.reset()重置屏障，否则剩余线程会一直阻塞
• 必须捕获BrokenBarrierError，防止单个线程异常导致整个Barrier失效

二、如果只是想控制「最大并发数」（同时最多5个请求） #

Barrier是用来同步线程执行点的，控制并发数更适合用Semaphore（信号量），代码更简单：

import threading
from threading import Thread, Semaphore

# 限制最多5个并发请求
sem = Semaphore(5)

def send_request(arg1, arg2):
    # 自动获取/释放信号量，保证同时最多5个线程执行请求逻辑
    with sem:
        # --- 这里写你的HTTP请求逻辑 ---
        print(f"发送请求: {arg1}, {arg2}")

tasks = [f"task_{i}" for i in range(12)]
threads = []

for task in tasks:
    thread = Thread(target=send_request, args=(task, f"param_{task}"))
    thread.start()
    threads.append(thread)

for t in threads:
    t.join()

内容的提问来源于stack exchange，提问作者alexx0186