边缘智能提供云边一体的边缘推理模块，允许您在云端进行模型的统一管理，并将模型部署到边缘一体机进行实时数据推理。
功能介绍
| 功能 | 说明 | 相关文档 |
|---|
| 模型管理 | 模型管理让您使用版本化方法来统一管理各种主流深度学习框架的模型。边缘智能提供了一系列官方模型方便直接使用，您也能够创建和编辑自定义模型，并能够创建、编辑、删除和发布模型版本。 | 官方模型概览 |
模型服务 | 将模型部署到边缘一体机即可快捷搭建模型服务，实现在边缘侧进行推理。 说明 通过搭配数据处理模块，您还可以对模型服务的推理结果进行多样的处理并通过多种渠道进行输出。关于数据处理的详细介绍，请参见数据流概述。 | 部署模型服务 |
使用概述
边缘推理提供了一些官方模型。如果官方模型满足您的业务需要，您可以直接将官方模型部署到一体机进行使用。此外，您也可以创建自定义模型，将您的模型文件上传到边缘智能控制台，然后再部署到一体机进行使用。
使用官方模型
- 从官方模型中选择适合您的需求的模型。
- 参考使用官方模型，将官方模型部署到您的一体机。
使用自定义模型
- 创建自定义模型
- 为模型创建版本
- 部署自定义模型
支持的框架
边缘推理兼容以下深度学习框架：
- TensorRT：适用于 NVIDIA GPU 平台的，用来加速深度学习模型的运行。TensorRT 可以将模型优化以获得更高的吞吐量和较低的延迟。特别适用于Jetson Nano 或 Xavier 这样的设备。
- ONNX：是一个开放的模型格式，支持许多不同的深度学习框架，如 PyTorch、TensorFlow、Caffe 等。ONNX 可以让这些框架互相转化模型，提供了一种跨框架、跨平台部署模型的方案。
- TensorFlow：Google 开发的深度学习框架，内置有高效的数值运算能力，众多的预训练模型和丰富的 API，支持跨平台部署。
- OpenVINO：Intel 开发的一个用于加速计算机视觉的框架。OpenVINO 可以优化模型运行，提供高性能的视觉应用。特别地，OpenVINO 对于在 Intel 硬件上运行的模型能够提供很好的支持。
- PyTorch：由 Facebook 开发的一个动态图深度学习框架，使用 Python 作为开发语言，因其灵活、直观用途广泛，被学术界广泛使用。
- ByteNN：由字节跳动开发的、面向移动设备的机器学习框架。ByteNN 融合了深度学习与移动设备的优势，为实现更轻量、更高效的人工智能而生。尤其在创建具有硬件加速能力的移动设备上的神经网络模型方面表现优秀。
- PaddlePaddle：是百度开发的深度学习框架，使用 Python 编程语言并以动态图为主要特性，同时支持静态图训练和预测。它提供了丰富的 API 供用户使用，并且设计了可以自动选择硬件执行库的机制。PaddlePaddle 在对模型进行服务和推理时速度较快，引擎运行稳定。
此外，边缘推理还支持 Ensemble 方法（即模型组合），允许您将多个模型进行组合使用。在 Ensemble 方法中，您可以基于 Python 语言编写脚本，对模型处理后的结果进行自定义处理。