You need to enable JavaScript to run this app. 如何等待asyncio.gather结果后继续操作并将异步请求结果写入DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

如何等待asyncio.gather结果后继续操作并将异步请求结果写入DataFrame

问题根因与对应实现方案

逐点拆解报错来源

1. RuntimeError: This event loop is already running

  • 报错触发场景:当代码运行在Jupyter Notebook、IPython等已经内置常驻运行事件循环的交互环境中,使用独立Python脚本的事件循环写法时就会触发该错误。Python 3.10版本后,asyncio.get_event_loop()会在检测到当前线程存在活跃运行的事件循环时,直接拒绝调用run_until_complete()接口。
  • 修正方式:
    • 标准Python脚本环境:直接使用Python3.7+ 官方推荐的asyncio.run()作为协程入口,自动完成事件循环的创建、调度、关闭全流程
    • Jupyter交互环境:无需手动创建/获取事件循环,直接在单元格内await主协程即可运行,不会触发循环冲突

2. 任务未执行完成就取结果,触发“结果未设置”异常

  • 报错触发场景:asyncio.create_task()仅负责将协程打包为任务投递到事件循环的待执行队列,不会阻塞等待协程执行完成。如果投递任务后立刻同步调用task.result(),事件循环还未调度该任务执行,自然无法获取到有效结果。
  • 修正方式:必须通过await task的方式等待任务执行完成,拿到协程返回值后再做后续数据处理,不能在同步上下文直接读取未完成任务的结果。

3. 全局DataFrame始终为空

  • 问题触发有两个独立原因:
    • 投递任务后没有等待任务执行完成,主程序就直接退出,协程逻辑未走完写入流程
    • pandas的DataFrame.append()属于非原地修改方法,调用后会返回一个全新的DataFrame对象,不会改动原对象的内存值。在协程内写dataframe = dataframe.append(...)本质是给函数内的局部变量重新绑定对象,完全不会影响外部传入的全局DataFrame,就算协程跑完全程,原全局df也不会有任何变化。

可直接运行的修正代码

import aiohttp
import asyncio
import pandas as pd
# 统一配置请求地址,避免硬编码重复写
API_URL = "https://esi.evetech.net/latest/markets/10000030/orders/?datasource=tranquility&order_type=buy&page={}"

async def get_page(page: int):
    async with aiohttp.ClientSession() as session:
        # 将实际请求的page参数拼接到URL中,修正原代码硬编码page=1的问题
        async with session.get(API_URL.format(page)) as response:
            print(f"retrieving data of page: {page}")
            # 直接解析JSON响应,省略冗余的字节流转换步骤
            resp_data = await response.json()
            print(f"data retrieved of page: {page}")
            return resp_data

async def get_orders():
    # 并发请求2个分页的接口数据
    all_pages = await asyncio.gather(
        *[get_page(page) for page in range(1, 3)]
    )
    # 所有异步请求完成后,统一拼接为DataFrame,不在协程内修改全局状态
    final_df = pd.DataFrame()
    for page_content in all_pages:
        page_df = pd.DataFrame(page_content)
        # pandas2.0+ 已废弃append方法,统一使用concat做纵向拼接
        final_df = pd.concat([final_df, page_df], ignore_index=True)
    return final_df

if __name__ == "__main__":
    # 自动管理事件循环生命周期,适配标准脚本环境
    result_df = asyncio.run(get_orders())
    print(f"最终DataFrame形状: {result_df.shape}")

异步开发实用建议

  • 异步代码尽量遵循收集返回值后统一处理的原则,不要在协程执行过程中修改外部全局变量,避免出现作用域不匹配、竞态条件、数据写入不可控的问题
  • 不要依赖手动获取事件循环的写法,标准脚本场景下asyncio.run()是最稳定的协程入口,能减少80%的事件循环相关报错
  • 注意区分“任务投递”和“任务等待”的差异:create_task()仅完成队列投递,必须通过await显式等待任务执行完成,否则主程序会提前退出导致协程逻辑未执行
  • 针对pandas对象的操作要注意是否为原地修改:涉及到拼接、筛选的操作大多会返回新对象,直接对函数内的传入参数重新赋值,不会改动外部原对象的值

内容的提问来源于stack exchange,提问作者vergo rabioso

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 20:06:03