如何等待asyncio.gather结果后继续操作并将异步请求结果写入DataFrame
问题根因与对应实现方案
逐点拆解报错来源
1. RuntimeError: This event loop is already running
- 报错触发场景:当代码运行在Jupyter Notebook、IPython等已经内置常驻运行事件循环的交互环境中,使用独立Python脚本的事件循环写法时就会触发该错误。Python 3.10版本后,
asyncio.get_event_loop()会在检测到当前线程存在活跃运行的事件循环时,直接拒绝调用run_until_complete()接口。 - 修正方式:
- 标准Python脚本环境:直接使用Python3.7+ 官方推荐的
asyncio.run()作为协程入口,自动完成事件循环的创建、调度、关闭全流程 - Jupyter交互环境:无需手动创建/获取事件循环,直接在单元格内
await主协程即可运行,不会触发循环冲突
- 标准Python脚本环境:直接使用Python3.7+ 官方推荐的
2. 任务未执行完成就取结果,触发“结果未设置”异常
- 报错触发场景:
asyncio.create_task()仅负责将协程打包为任务投递到事件循环的待执行队列,不会阻塞等待协程执行完成。如果投递任务后立刻同步调用task.result(),事件循环还未调度该任务执行,自然无法获取到有效结果。 - 修正方式:必须通过
await task的方式等待任务执行完成,拿到协程返回值后再做后续数据处理,不能在同步上下文直接读取未完成任务的结果。
3. 全局DataFrame始终为空
- 问题触发有两个独立原因:
- 投递任务后没有等待任务执行完成,主程序就直接退出,协程逻辑未走完写入流程
- pandas的
DataFrame.append()属于非原地修改方法,调用后会返回一个全新的DataFrame对象,不会改动原对象的内存值。在协程内写dataframe = dataframe.append(...)本质是给函数内的局部变量重新绑定对象,完全不会影响外部传入的全局DataFrame,就算协程跑完全程,原全局df也不会有任何变化。
可直接运行的修正代码
import aiohttp import asyncio import pandas as pd # 统一配置请求地址,避免硬编码重复写 API_URL = "https://esi.evetech.net/latest/markets/10000030/orders/?datasource=tranquility&order_type=buy&page={}" async def get_page(page: int): async with aiohttp.ClientSession() as session: # 将实际请求的page参数拼接到URL中,修正原代码硬编码page=1的问题 async with session.get(API_URL.format(page)) as response: print(f"retrieving data of page: {page}") # 直接解析JSON响应,省略冗余的字节流转换步骤 resp_data = await response.json() print(f"data retrieved of page: {page}") return resp_data async def get_orders(): # 并发请求2个分页的接口数据 all_pages = await asyncio.gather( *[get_page(page) for page in range(1, 3)] ) # 所有异步请求完成后,统一拼接为DataFrame,不在协程内修改全局状态 final_df = pd.DataFrame() for page_content in all_pages: page_df = pd.DataFrame(page_content) # pandas2.0+ 已废弃append方法,统一使用concat做纵向拼接 final_df = pd.concat([final_df, page_df], ignore_index=True) return final_df if __name__ == "__main__": # 自动管理事件循环生命周期,适配标准脚本环境 result_df = asyncio.run(get_orders()) print(f"最终DataFrame形状: {result_df.shape}")
异步开发实用建议
- 异步代码尽量遵循收集返回值后统一处理的原则,不要在协程执行过程中修改外部全局变量,避免出现作用域不匹配、竞态条件、数据写入不可控的问题
- 不要依赖手动获取事件循环的写法,标准脚本场景下
asyncio.run()是最稳定的协程入口,能减少80%的事件循环相关报错 - 注意区分“任务投递”和“任务等待”的差异:
create_task()仅完成队列投递,必须通过await显式等待任务执行完成,否则主程序会提前退出导致协程逻辑未执行 - 针对pandas对象的操作要注意是否为原地修改:涉及到拼接、筛选的操作大多会返回新对象,直接对函数内的传入参数重新赋值,不会改动外部原对象的值
内容的提问来源于stack exchange,提问作者vergo rabioso
相关产品推荐
相关产品推荐

