动态量化YOLOv8s ONNX模型GPU推理FPS低、节点转CPU问题问询

• 模型处理流程：将yolov8s.pt导出为yolov8.onnx后，通过ONNXRuntime的uint8动态量化方法将模型体积压缩至原大小的约1/4。
• 推理异常表现：该量化模型在CPU（CPUExecutionProvider）上推理正常，但使用CUDAExecutionProvider进行GPU推理时，FPS（每秒帧数）反而低于CPU，不符合预期。
• 多Provider配置疑问：当指定providers=['CUDAExecutionProvider','CPUExecutionProvider']时，警告信息消失，但部分节点被强制在CPU而非CUDA上执行，想明确是CUDA暂不支持此类量化节点，还是存在其他特殊原因。
• 排查操作：通过以下代码调整ONNXRuntime日志级别以查看相关信息：

import onnxruntime as ort
ort.set_default_logger_severity(1)

已获取相关日志及警告截图，且已在GitHub相关问题下提交评论反馈问题。

• 核心诉求：希望了解CUDA无法处理这些节点的具体原因，以及是否有办法让所有节点仅在CUDA上执行。

内容的提问来源于stack exchange，提问作者Suraj Rao