Python多线程并行发送HTTP请求遍历字典数组的实现方案咨询

原方案评估 #

你设计的「进程+多层线程嵌套」方案属于过度设计，完全不适用于当前场景，理由如下：

• 你的任务是典型的IO密集型场景（耗时集中在HTTP请求等待响应），Python多线程已经能充分利用等待时间提高效率，引入多进程反而会带来进程间通信、数据序列化的额外开销，完全没有必要
• 多层线程嵌套会大幅提升代码复杂度，线程创建/销毁本身也有额外开销，手动管理多层子线程的生命周期、异常传播、结果同步的成本极高，反而容易出bug

最优实现方案 #

不用分层调度，直接把所有请求任务拍平为一维列表，用统一的线程池批量调度即可，逻辑简单且效率最高，核心实现思路如下：

1. 先拍平所有待执行任务 #

遍历所有类型、版本、codes行，把每个请求需要的参数整理为同构的任务单元：

tasks = []
# 遍历所有类型
for item in type_list:
    # 遍历当前类型下的两个版本
    for version_type in ["installed", "installing"]:
        version_info = item["versions"][version_type]
        version_id = version_info["id"]
        results_ref = version_info["results"]
        # 遍历codes每一行拼接参数
        for code_row in codes:
            codes_str = " or ".join(code_row)
            tasks.append( (version_id, codes_str, results_ref) )

2. 用线程池批量执行任务 #

用Python标准库concurrent.futures.ThreadPoolExecutor统一管理并发请求，无需手动创建线程：

import requests
from concurrent.futures import ThreadPoolExecutor

# 单请求逻辑，加超时处理
def fetch_data(task):
    version_id, codes_str, results_ref = task
    url = f"https://api.server?version_id={version_id}&codes={codes_str}"
    try:
        # 加超时，避免无限等待
        resp = requests.get(url, timeout=10)
        resp.raise_for_status()
        result = resp.json()
        # CPython中列表append是线程安全的，无需额外加锁
        results_ref.append(result)
        return True
    except Exception as e:
        # 可以额外增加重试逻辑，或者记录失败的任务后续补跑
        print(f"请求失败 version_id={version_id}, codes={codes_str}, 错误：{e}")
        return False

# 并发数建议根据API限流规则设置，一般10-50即可
MAX_WORKERS = 20
with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
    executor.map(fetch_data, tasks)

3. 额外优化建议 #

• 并发数不要设置过高，否则容易触发API限流，反而导致大量请求失败拉长整体执行时间
• 可以给请求增加重试逻辑，针对网络超时、5xx错误等场景自动重试2-3次，提升请求成功率
• 如果请求量极大，可以考虑对相同version_id的请求做批量合并，进一步减少请求次数

内容的提问来源于stack exchange，提问作者Gabriele Romeo