升级ONNX Runtime至1.17.0后CUDA执行器Memcpy节点警告问题咨询

你遇到的警告信息如下：

[W:onnxruntime:, transformer_memcpy.cc:74 onnxruntime::MemcpyTransformer::ApplyImpl] 9 Memcpy nodes are added to the graph svm for CUDAExecutionProvider. It might have negative impact on performance (including unable to run CUDA graph). Set session_options.log_severity_level=1 to see the detail logs before this message.

警告原因 #

这个警告的核心是ONNX Runtime 1.17.0的CUDA执行提供者优化逻辑相比1.14.0有更新。你用旧版本tf2onnx（opset18）转换的模型中，部分算子的设备布局、数据类型或者算子实现，和ONNX Runtime 1.17.0的CUDA执行要求不匹配。Runtime为了让模型能在CUDA上正常运行，会自动插入Memcpy节点来完成数据迁移（比如CPU到GPU）或者调整数据格式，但这可能影响性能，甚至无法启用CUDA Graph加速。

需要明确的是：opset版本不是问题的关键——即使你能用到opset20转换模型，如果模型本身的算子设计不符合CUDA执行的最新要求，仍然可能触发这个警告。tf2onnx支持的opset18完全可以适配ONNX Runtime 1.17.0，不用纠结opset版本的问题。

解决方法 #

1. 确保输入数据直接在GPU上分配 #

初始化会话前，把模型输入的张量直接放在CUDA设备上，避免Runtime自动插入CPU到GPU的Memcpy节点。以Python为例：

import onnxruntime as ort
import tensorflow as tf

# 假设输入是TensorFlow张量，先移到GPU
input_data = tf.random.normal([1, 224, 224, 3]).cuda()

sess_options = ort.SessionOptions()
sess = ort.InferenceSession("your_model.onnx", sess_options, providers=["CUDAExecutionProvider"])
output = sess.run(None, {"input": input_data.numpy()})

2. 用tf2onnx重新转换时指定CUDA目标 #

重新转换模型时，添加--target cuda参数，让tf2onnx生成更适配CUDA执行的算子布局和实现，从源头减少Runtime插入Memcpy的需求：

python -m tf2onnx.convert --saved-model ./your_tf_saved_model --output ./optimized_model.onnx --opset 18 --target cuda

3. 调整ONNX Runtime的优化策略 #

可以尝试调整图优化级别，或者禁用自动Memcpy转换（注意：禁用后需验证模型是否能正常运行）：

sess_options = ort.SessionOptions()
# 尝试使用基础优化级别，减少激进优化导致的Memcpy
sess_options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_BASIC
# 或者直接禁用MemcpyTransformer
sess_options.add_session_config_entry("session.disable_memcpy_transformer", "1")

sess = ort.InferenceSession("your_model.onnx", sess_options, providers=["CUDAExecutionProvider"])

4. 查看详细日志定位具体问题 #

按照警告提示设置日志级别，找到具体哪些算子触发了Memcpy插入，针对性修改：

sess_options = ort.SessionOptions()
sess_options.log_severity_level = 1  # 开启详细日志
sess = ort.InferenceSession("your_model.onnx", sess_options, providers=["CUDAExecutionProvider"])

日志会显示具体是哪些节点导致了Memcpy，比如某些算子仅支持CPU执行，或者数据类型不匹配，你可以在TensorFlow模型中提前调整这些算子的实现或数据类型。

内容的提问来源于stack exchange，提问作者Орися Заяць