Python AsyncIO异步生成器请求执行顺序不符预期问题排查

嘿，这个问题我之前踩过坑！咱们先唠唠为啥会出现这种“先跑完所有带x参数请求，再跑无参数请求”的情况，再给你搞定它。

问题根源分析 #

核心问题出在你可能提前把所有带x参数的请求批量塞进了事件循环，比如用了asyncio.gather()一次性启动所有任务。asyncio的事件循环会优先处理已经提交的任务，哪怕你用next()逐个取生成器的值，生成器在await gather()的时候已经阻塞住了——它会等所有带x的请求全跑完，才会开始yield第一个结果，这时候那些请求早就执行完了，自然没法交替。

举个典型的错误写法例子（我猜你大概是这么写的）：

import aiohttp
import asyncio

class URLFetcher:
    def __init__(self, urls_with_x, urls_without_x):
        self.urls_with_x = urls_with_x
        self.urls_without_x = urls_without_x

    async def fetch(self, session, url, has_x=False):
        params = {'x': 'test'} if has_x else {}
        async with session.get(url, params=params) as resp:
            return await resp.text()

    async def __aiter__(self):
        async with aiohttp.ClientSession() as session:
            # 错误：一次性启动所有带x的请求，gather会等全部完成才返回
            tasks_x = [self.fetch(session, u, has_x=True) for u in self.urls_with_x]
            results_x = await asyncio.gather(*tasks_x)
            for res in results_x:
                yield res

            # 这时候才开始处理无参数请求
            tasks_no_x = [self.fetch(session, u) for u in self.urls_without_x]
            results_no_x = await asyncio.gather(*tasks_no_x)
            for res in results_no_x:
                yield res

这种写法下，生成器在第一次yield之前就已经把所有带x的请求跑完了，完全没机会交替执行。

解决方法：让每次yield只触发单个请求 #

要实现交替触发请求并返回结果，你需要让生成器每次yield时才启动对应的单个请求，而不是批量启动所有任务。分两种场景给你方案：

场景1：严格交替执行（先跑一个带x的，等它完成再跑一个无参数的）

这种适合你需要严格按“带x→无参数→带x→无参数”顺序执行的情况：

import aiohttp
import asyncio
from itertools import zip_longest

class URLFetcher:
    def __init__(self, urls_with_x, urls_without_x):
        self.urls_with_x = urls_with_x
        self.urls_without_x = urls_without_x

    async def fetch(self, session, url, has_x=False):
        params = {'x': 'test'} if has_x else {}
        print(f"触发请求: {'带x参数' if has_x else '无x参数'} {url}")
        async with session.get(url, params=params) as resp:
            result = await resp.text()
            print(f"完成请求: {'带x参数' if has_x else '无x参数'} {url}")
            return result

    async def __aiter__(self):
        async with aiohttp.ClientSession() as session:
            # 用zip_longest交替遍历两组URL，处理数量不一致的情况
            for url_x, url_no_x in zip_longest(self.urls_with_x, self.urls_without_x):
                if url_x:
                    # 每次yield前才启动单个带x请求并等待完成
                    res_x = await self.fetch(session, url_x, has_x=True)
                    yield res_x
                if url_no_x:
                    res_no_x = await self.fetch(session, url_no_x)
                    yield res_no_x

场景2：交替启动请求（并发执行，但结果按交替顺序返回）

如果想要请求可以并发，但结果按“带x→无参数”的顺序返回（哪怕某个请求耗时更长），可以逐个添加任务再逐个await：

async def __aiter__(self):
    async with aiohttp.ClientSession() as session:
        pending_tasks = []
        # 先交替创建任务（不立即等待完成）
        for url_x, url_no_x in zip_longest(self.urls_with_x, self.urls_without_x):
            if url_x:
                pending_tasks.append(self.fetch(session, url_x, has_x=True))
            if url_no_x:
                pending_tasks.append(self.fetch(session, url_no_x))
        # 逐个await任务，保证结果按添加顺序返回
        for task in pending_tasks:
            yield await task

验证效果 #

用这两种写法，你再用async for或者手动next()取生成器值时，就能看到请求是交替触发的，完全符合你的预期。

内容的提问来源于stack exchange，提问作者slaw