在Nvidia Triton推理服务器添加加速器时,找不到常量kOpenVINOExecutionAccelerator定义求助
解决Triton推理服务器添加加速器时找不到
kOpenVINOExecutionAccelerator定义的问题 针对你找不到kOpenVINOExecutionAccelerator定义的情况,大概率是这几种原因,对应排查步骤如下:
- 先查cmake生成逻辑:这类常量常通过cmake的
configure_file工具从模板生成头文件。去onnxruntime_backend的CMakeLists.txt里找有没有configure_file(xxx.h.in xxx.h)这类指令,或者target_compile_definitions、add_definitions的配置,说不定这个常量是cmake编译时动态生成的。 - 检查ONNX Runtime依赖:这个常量可能不是Triton本身定义的,而是来自ONNX Runtime的OpenVINO执行提供者组件。去ONNX Runtime的代码里搜这个常量,通常在执行提供者相关的头文件(比如
openvino_provider_factory.h)里。 - 排查条件编译:如果Triton编译时开启了OpenVINO支持才会定义这个常量,那得看backend代码里有没有
#ifdef TRITON_ENABLE_ONNXRUNTIME_OPENVINO这类条件编译块,对应的常量可能藏在这些块里。 - 全局搜索整个仓库:别只在onnxruntime_backend目录搜,用
git grep kOpenVINOExecutionAccelerator在整个triton-inference-server仓库里搜,说不定这个常量定义在公共头文件或者其他依赖模块里。
内容的提问来源于stack exchange,提问作者Francois
相关产品推荐
相关产品推荐

