OpenVINO在NCS2(MYRIAD)推理时ScatterNDUpdate层不支持问题咨询

在NCS2（MYRIAD）硬件上使用OpenVINO开展IR推理工作时，触发报错：unsupported layer type "ScatterNDUpdate"。待转换的ONNX格式模型共包含8个ScatterNDUpdate层，2022.1版本OpenVINO的NCS2平台适配层暂不支持该算子。

• 是否存在可行方案可移除上述ScatterNDUpdate层，且完全不影响模型原有功能？
• OpenVINO是否提供可等效替代该层的算子，替换后不会对推理结果的定量、定性表现产生任何影响？
• 供后续开发参考，如何避免模型生成ScatterNDUpdate层？该类层的产生原因是什么？

• OpenVINO版本：2022.1
• ONNX Opset版本：11（已验证切换到Opset 13版本无法解决该不兼容问题）

关于ScatterNDUpdate层移除方案 #

不存在无前提直接移除ScatterNDUpdate层且完全不影响功能的通用方案。ScatterNDUpdate的核心作用是按指定索引更新张量对应位置的数值，是计算图数据流的必要组成环节，直接删除会打断张量传递逻辑，直接导致推理结果完全错误。
仅当逐节点核对确认某一个ScatterNDUpdate层在推理全程满足「更新值与原张量对应位置数值完全一致、索引覆盖范围为空」的恒等映射条件时，才可直接删除该层，将该层的原始数据输入直连到下游节点，该操作需要逐节点校验8个ScatterNDUpdate的实际输入逻辑，不可批量直接删除。

关于等效替代方案 #

2022.1版本OpenVINO的MYRIAD插件支持的基础算子可以组合出与ScatterNDUpdate计算逻辑完全一致的子图，替换后推理精度无任何损失，且NCS2硬件可正常调度执行。由于MYRIAD平台不支持注册自定义算子，无法通过自定义层扩展的方式直接适配原算子，只能通过基础算子组合实现替代，具体组合逻辑如下：

1. 生成与待更新原始张量形状完全一致的全0掩码张量，将ScatterNDUpdate对应的所有索引位置标记为1，其余位置保持0
2. 用Multiply算子将原始输入张量与「1-掩码张量」做逐元素相乘，得到保留原始张量非更新位置数值、更新位置数值置0的中间张量A
3. 用Broadcast、Multiply算子组合，将待写入的更新值按索引位置映射为与原始张量同形状的张量B，张量B中非更新位置数值全部置0
4. 用Add算子将中间张量A和张量B逐元素相加，最终输出结果与原ScatterNDUpdate层的计算结果完全等价
   注意：替换完成后需要用测试样本做逐节点结果对齐校验，确保索引映射的维度顺序、广播规则和原算子完全匹配，避免出现维度错位导致的结果错误。

关于ScatterNDUpdate层的产生原因与规避方法 #

产生原因 #

该类层的生成通常来自三类场景：

• 模型训练代码中使用了张量按索引直接赋值的写法，比如PyTorch中的tensor[indices] = update_values、TensorFlow中的tf.tensor_scatter_nd_update接口，导出ONNX时会被直接映射为ScatterNDUpdate算子
• 模型导出时将推理核心逻辑无关的后处理操作（比如检测结果拼接、特定区域像素重写、输出格式整理）固化到了计算图中
• 模型结构中包含动态掩码生成、特征图选择性更新的注意力类逻辑，导出ONNX时会被编译器转换为ScatterNDUpdate算子实现

规避方法 #

• 训练阶段编写模型代码时，固定位置的张量更新操作尽量用逐元素乘加的逻辑实现，避免使用高级索引赋值的写法，从源头减少该算子的生成
• 将与核心推理逻辑无关的后处理环节从模型结构中剥离，部署时放到主机侧用CPU实现，不要随模型一起导出为ONNX格式
• 导出ONNX后优先使用ONNX化简工具做计算图常量折叠，部分更新值、索引均为固定常量的ScatterNDUpdate层会在化简阶段被直接计算为常量张量，不会保留到转换后的IR文件中

内容的提问来源于stack exchange，提问作者badshahahaha