为何使用asyncio.gather处理pandas DataFrame行数据时无法实现并发执行？

API 探路者

2026-4-27

异步HTTP请求无法并发：aiohttp+asyncio性能与同步方案完全一致的问题

我最近在处理一个包含50万行数据的pandas DataFrame，每行都需要发起一次HTTP请求。为了获得显著的性能提升，我把原来基于requests的同步请求方案换成了aiohttp + asyncio的异步方案，但实际运行后发现，异步版本的执行速度居然和同步循环完全一样，完全没达到预期的并发效果。我实在找不到并发被阻塞的原因，下面是我的最小可复现示例代码：

import asyncio
import aiohttp
import pandas as pd
import time

# 包含100行数据的示例DataFrame，每行请求一个带延迟的端点
df = pd.DataFrame({
    'id': range(100),
    'url': ['http://httpbin.org/delay/0.1'] * 100
})

async def fetch(session, url, row_id):
    async with session.get(url) as response:
        await response.text()
        return row_id

async def process_dataframe(df):
    async with aiohttp.ClientSession() as session:
        tasks = []
        for _, row in df.iterrows():
            task = asyncio.create_task(fetch(session, row['url'], row['id']))
            tasks.append(task)
        results = await asyncio.gather(*tasks)
        return results

start = time.time()
results = asyncio.run(process_dataframe(df))
print(f"Async time: {time.time() - start:.2f} seconds")