Python多线程发送HTTP请求如何分批执行避免被拦截？

你的原代码逻辑存在核心错误：你先把所有线程一次性启动，之后再分批调用join()，这时候所有请求已经在并发执行了，完全没起到“每批5个完成后再发下一批”的作用，自然会因为请求过多被拦截。

下面给出两种可行的修改方案：

方案一：手动分批管理线程 #

核心思路是分批次创建并启动线程，等当前批次所有线程执行完毕，再处理下一批，代码示例如下：

import threading

def send_request(arg1, arg2):
    # 这里写你的HTTP请求逻辑
    pass

tasks = [...]  # 你的任务列表，每个任务需包含对应请求的arg1和arg2参数

# 按每5个任务为一批处理
for batch_start in range(0, len(tasks), 5):
    # 截取当前批次的任务
    current_batch = tasks[batch_start : batch_start + 5]
    current_threads = []
    
    # 启动当前批次的所有线程
    for task in current_batch:
        # 注意：这里args要对应每个task的参数，假设task是(arg1, arg2)的元组
        thread = threading.Thread(target=send_request, args=task)
        thread.start()
        current_threads.append(thread)
    
    # 等待当前批次所有线程执行完成，再进入下一批
    for thread in current_threads:
        thread.join()

方案二：用concurrent.futures.ThreadPoolExecutor（更简洁） #

Python标准库的ThreadPoolExecutor可以更优雅地管理线程池，设置max_workers=5后，它会自动控制同时运行的线程数。如果需要严格等一批完成再下一批，可分批次提交任务：

from concurrent.futures import ThreadPoolExecutor

def send_request(arg1, arg2):
    # 这里写你的HTTP请求逻辑
    pass

tasks = [...]  # 每个任务为(arg1, arg2)的元组

with ThreadPoolExecutor(max_workers=5) as executor:
    for batch_start in range(0, len(tasks), 5):
        current_batch = tasks[batch_start : batch_start + 5]
        # 提交当前批次任务并等待全部完成
        executor.map(lambda args: send_request(*args), current_batch)

关键注意点 #

• 确保tasks列表中的每个元素包含send_request需要的参数（比如(arg1, arg2)的元组），避免原代码中固定args=(arg1,arg2)导致所有线程用相同参数的问题。
• 如果HTTP请求有超时、重试需求，建议在send_request里添加相应逻辑，避免单线程异常影响整个批次的执行。

内容的提问来源于stack exchange，提问作者alexx0186