You need to enable JavaScript to run this app. openvino-python同步/异步检测测试调用start_async报request_id错误
优惠活动
大模型
产品
解决方案
定价
更多

openvino-python同步/异步检测测试调用start_async报request_id错误

OpenVINO Python 异步推理「Incorrect request_id specified」报错修复

报错核心原因

  • IECore.load_network初始化可执行网络时,默认仅在目标设备上分配1个可用推理请求(InferRequest),对应合法的request_id取值仅为0,不存在id为1及以上的请求实例。
  • 你当前代码中循环遍历传入的request_id为x,当传入的函数参数i>1时,x会取到1、2等值,直接访问不存在的请求槽位,就会触发指定request_id不正确的报错。

针对性修复方案

场景1:仅需单请求异步推理(同步vs异步性能对比测试)

这个场景不需要多并发请求槽位,全程固定使用默认分配的id=0的推理请求即可,不需要递增id。修改循环内的调用逻辑即可解决报错,同时避免输入竞争:

for x in range(i):
    # 等待当前id=0的请求处于空闲状态,再提交新任务
    while exec_net.requests[0].wait(0) != 0:
        time.sleep(0.001)
    inference_res = exec_net.start_async(request_id=0, inputs={input_layer: input_image})
    inference_res.wait(0)

场景2:需要多请求并发异步推理(压测多请求下的异步吞吐)

如果测试目标是模拟多请求并发的异步处理能力,需要在加载网络时手动指定需要的推理请求总数,让OpenVINO提前分配对应数量的请求槽位,才能支持id从0到n-1的合法访问:

# 加载网络时指定需要的并发请求数,将num_requests设为需要的并发值即可
exec_net = ie.load_network(network=net, device_name="CPU", num_requests=i)

此时你原逻辑中传入x作为request_id就不会出现越界问题。

异步实现的通用注意事项

  • 不要在单次测试循环内重复执行IECore初始化、网络读取、可执行网络加载的操作:这类操作属于一次性初始化流程,每次运行都重复执行会引入大量无关耗时,导致同步/异步的性能对比结果完全失真。
  • 不要对处于运行状态的request重复调用start_async覆盖输入,否则会出现推理结果错乱、内存访问异常等问题,提交新任务前必须确认对应请求为空闲状态。
  • 压测异步性能时,不要在每次提交请求后立刻等待任务完成:正确的压测逻辑是先批量提交所有异步任务,再统一等待全部请求执行结束,最后统计总耗时,否则测出来的结果和同步推理没有差异。

内容的提问来源于stack exchange,提问作者Kanaji

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 17:06:07