Python aiohttp多并发请求如何实现单请求独立超时

你遇到的批量并发请求时除首个站点外全超时的问题，本质是aiohttp超时配置的用法和参数含义踩了两个常见的坑，根本不是aiohttp没法做单请求的独立超时：

• 第一个坑是超时参数的使用逻辑偏差：很多人习惯把自定义超时实例直接绑定到全局ClientSession的初始化参数上作为默认配置，这种用法本身不会造成全局共享计时，但如果没有正确理解不同超时参数的覆盖范围，就会导致超时控制逻辑和预期不符。比如你现在用的connect=5，在aiohttp 3.7+版本里的实际作用是“请求从连接池获取空闲连接的最长等待时间”，完全不覆盖实际TCP建连、等待服务端响应、读取响应数据的耗时。这种半残的超时配置，遇到并发量稍大的场景，很容易因为连接池排队、网络延迟等因素触发非预期的超时错误。我刚上手aiohttp爬批量站点的时候踩过一模一样的坑，一开始只给Session设了个connect=5的超时，跑30个站点一半都报连接超时，翻了文档才发现参数对应错了。
• 第二个坑是对超时作用域的认知偏差：aiohttp的单请求独立超时，本质是把超时参数和单次请求的生命周期绑定，而不是和Session的生命周期绑定。如果你把超时的计时逻辑和全局的任务调度逻辑混在一起，比如用外层的asyncio.wait_for给所有任务统一套一个超时计时，就很容易出现任务排队时时间被提前消耗的问题，看起来就像所有请求共享同一个全局5秒倒计时，第一个请求占掉时间后，剩下的请求刚启动就超时。

要实现每个站点的5秒超时完全独立计算，只需要做两个调整：

1. 不要把超时配置作为全局强制参数绑定到Session上，把超时参数作为session.get()/session.post()等请求方法的独立入参传入，每个请求的计时器完全从自己发起的时刻开始算，互不干扰。哪怕你后续调整某个请求的超时阈值，也不会影响其他站点的配置。
2. 匹配你要的超时效果选对参数：
   • 如果你要实现“单个站点从发起请求到拿到完整响应的整个过程累计耗时超过5秒就判超时”，直接给超时实例配置total=5即可，这个计时是完全单请求维度的，覆盖从连接池拿连接、建连、等响应、读数据的全流程。
   • 如果你只需要单独控制TCP建连的5秒超时，就用sock_connect=5，这个参数是每个新建的TCP连接单独计时，不会被连接池排队的等待时间影响。

import aiohttp
import asyncio

# 每个请求独立的5秒总超时，单请求从发起到拿完响应全流程超5秒就报错
PER_REQUEST_TIMEOUT = aiohttp.ClientTimeout(total=5)

async def fetch_site(url, session):
    try:
        # 超时参数单独传给当前请求，不共享Session全局计时
        async with session.get(url, timeout=PER_REQUEST_TIMEOUT) as resp:
            if resp.status == 200:
                return f"{url}: good"
            return f"{url}: 响应状态码异常 -> {resp.status}"
    except Exception as e:
        return f"{url}: 请求失败 -> {type(e).__name__}: {str(e)}"

async def main():
    target_urls = [
        "https://www.google.com",
        "https://www.python.org",
        "https://www.facebook.com",
        "https://invalid-domain.example.com"
    ]
    # 初始化Session时不硬编码超时配置，避免全局绑定计时
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_site(url, session) for url in target_urls]
        results = await asyncio.gather(*tasks)
        for res in results:
            print(res)

asyncio.run(main())

按照这个配置跑的效果就是：能正常通的站点只要全流程在5秒内拿到200响应就返回good，单站点卡到超过5秒就只抛自己的超时错误，其他站点的请求完全不受影响，无效域名也会单独抛出域名解析/连接相关的错误，不会连带其他站点超时。

内容的提问来源于stack exchange，提问作者Daves