是否有可行方法以异步模式运行pytest测试用例以缩短测试耗时?
为什么添加@pytest.mark.asyncio后没有提速
- 核心原因是pytest-asyncio的默认执行策略:每个异步测试用例都会被分配独立的事件循环,由pytest按照默认的串行逻辑逐用例调度,不会自动将多个异步用例放入同一个事件循环并发执行。
- 你示例中的两个
await asyncio.sleep(5)用例,实际执行总时长接近10秒,完全是串行运行,没有用到异步IO的并发能力。
零额外硬件开销的提速方案
方案1:单事件循环内并发执行所有异步用例
- 不需要依赖pytest-xdist这类多进程工具,只要把原有独立的测试逻辑封装为普通协程,再通过一个顶层异步测试用例统一调度,即可复用单事件循环实现并发。
- 调整后的示例代码如下:
import logging import pytest import asyncio import time async def logic_test_01(): logging.info(f"time => {time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))}") await asyncio.sleep(5) async def logic_test_02(): logging.info(f"time => {time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))}") await asyncio.sleep(5) @pytest.mark.asyncio async def test_async_cases_batch(): # 批量创建协程任务并发执行 await asyncio.gather( logic_test_01(), logic_test_02(), return_exceptions=True )
- 调整后两个
sleep会同时触发,总执行时长仅为5秒左右,全程单进程运行,对硬件没有额外的CPU、内存开销。 - 注意事项:如果需要单独统计每个用例的执行结果、保留独立的测试报告条目,可以在
asyncio.gather的返回结果中逐个校验每个协程的执行异常,单独标记用例成败,不会影响最终测试报告的统计精度。
方案2:保留原生用例颗粒度的并发优化
- 如果不想修改原有测试用例的写法、希望保留每个用例独立的报告条目,可以将pytest-asyncio升级到0.23及以上版本,通过配置调整调度逻辑:
- 在
pytest.ini中添加配置asyncio_mode = auto - 运行测试时开启共享事件循环调度,让多个异步用例在同一个事件循环下并行执行
- 在
- 这种方式改动量极小,适合用例规模较大、不想大规模调整代码的项目。
关于pytest-xdist的优化使用建议
- 你之前觉得pytest-xdist硬件要求高,其实可以通过手动限制worker数量降低资源开销:运行时添加参数
-n N(N为你指定的并发进程数,通常设为2-3即可),不需要按机器CPU核数开满进程,对普通办公设备的硬件压力非常小,适合混合了同步、异步用例的大型测试项目。
内容的提问来源于stack exchange,提问作者Silence He
相关产品推荐
相关产品推荐

