如何将OneHot编码嵌入PyTorch导出的ONNX模型
特征编码嵌入ONNX网络的落地问题
现有业务与部署场景
我使用PyTorch训练神经网络,训练完成后将模型导出为ONNX格式,所有模型最终部署在Vespa索引中,由Vespa通过TensorRT加载ONNX模型执行推理流程。
业务流程中需要对部分离散特征做OneHot编码,但在Vespa框架内直接实现该功能的落地难度很高。
核心疑问
是否可以将针对特定特征的OneHot编码逻辑嵌入到ONNX网络内部(比如放在原网络主干的表示层之前)?如果该方案可行,应当如何基于已训练完成的PyTorch模型实现这一需求?
已注意到的相关事实
我已经观察到两点和该需求相关的基础信息:
- ONNX格式本身内置支持OneHot算子,具体算子定义可参考ONNX官方文档说明
- PyTorch内置的ONNX导出系统对OneHot算子的支持存在缺失,相关适配情况可参考torch.onnx官方文档
端到端落地工作流
以下为2021年3月11日编辑补充的完整工作流说明:
- 基于PyTorch完成Learning to Rank排序模型的全流程训练
- 将训练完成的模型导出为标准ONNX格式
- 将导出的ONNX模型导入Vespa索引,借助Vespa提供的ONNX模型评估能力,对任意查询返回的结果完成排序计算;整个推理执行环节由Vespa底层调用TensorRT完成,即依托Vespa原生的ONNX模型评估能力实现全流程推理
内容的提问来源于stack exchange,提问作者fweber
相关产品推荐
相关产品推荐

