AWS inf1实例使用TensorFlow 2 Neuron编译YOLOv4相关问题咨询

文档相关疑问说明 #

TensorFlow 2 Neuron 配套的编译、调试能力均已在 Neuron SDK 2.x 及以上版本实现，不存在功能缺失，多数适配问题均由版本不匹配、参数未正确配置导致。

编译无反馈、耗时长、实例无响应问题解决方案 #

• 首先确认你使用的tensorflow-neuron及 Neuron SDK 版本不低于 2.8.0 正式版，低于该版本的编译日志默认关闭，可在编译调用参数中添加verbose=1，即可输出算子适配、子图拆分的全流程进度，确认编译状态。
• 编译阶段逻辑默认跑在实例CPU上，inf1.xlarge 仅配备4 vCPU，编译大尺寸YOLOv4模型时极易出现CPU资源抢占导致的卡死，可在执行编译命令前添加taskset -c 0-3前缀绑定全部CPU核心，避免资源冲突。
• 编译前执行环境变量配置export NEURON_MAX_COMPILE_MEMORY_MB=8192，限制编译进程最大内存占用为8G，避免触发实例OOM导致无响应。

单Neuron核心占用问题解决方案 #

• TensorFlow 2 Neuron 默认不会自动拆分模型到多核心，你需要在编译参数中添加neuroncore_pipeline_cores=4（inf1.xlarge 共4个NeuronCore），开启流水线并行，即可让模型自动拆分到全部核心运行。
• 若添加参数后仍仅识别到单核心，可执行tensorflow.neuron.utils.list_neuron_ops(your_model)命令检查模型算子支持情况，存在不支持的算子时会自动fallback到CPU运行，导致流水线拆分失败，将对应fallback算子替换为Neuron兼容实现即可。
• 你也可以采用多实例部署的方式，同时加载4份编译后的模型，每份绑定独立NeuronCore，多并发推理场景下可打满全部核心资源，吞吐量相比单核心提升3倍以上。

版本选择建议 #

不需要退回TensorFlow 1.15版本。当前Neuron SDK对TensorFlow 2的支持已经覆盖YOLO系列全部常用算子，2.x版本不仅稳定性、性能与1.15版本持平，还额外支持动态batch、量化感知训练等1.15版本未提供的特性。

内容的提问来源于stack exchange，提问作者PyLessons