Jetson Nano运行YOLOv5n推理性能低下的原因排查求助

• 未启用TensorRT优化：TensorRT是NVIDIA针对自家GPU打造的专属推理加速引擎，能通过模型量化、层融合、内核自动调优等手段大幅压缩推理耗时。你当前仅开启CUDA但未部署TensorRT，仅能利用CUDA的基础并行计算能力，无法获得推理场景下的深度优化，这是性能与参考值差距悬殊的核心原因。
• SD卡存储性能瓶颈：SD卡的随机读写速度远低于SSD，推理过程中模型加载、中间临时数据的读写操作（Docker环境下镜像分层存储还会额外增加开销）都会被SD卡的低速限制，MAXN模式下耗时仍未达标也侧面印证了存储的辅助制约作用。
• 硬件规格与测试基准差异：Jetson Nano B01的硬件规格有限（4GB内存、128核GPU），参考文档中的50ms耗时大概率是启用TensorRT后的优化结果，即使开启MAXN模式拉满硬件负载，未经过TensorRT优化的YOLOv5n也难以达到该基准。
• Docker环境的额外开销：Docker容器会占用部分系统资源（如内存、CPU调度开销），虽对比原生环境影响可能不大，但仍是潜在的性能损耗因素。

内容的提问来源于stack exchange，提问作者Martín Alcubierre