TorchScript转换后模型输出与原PyTorch模型不一致问题排查及替代方案咨询

核心问题排查与修复 #

1. 输入数据类型不匹配 #

你的Python代码中input2是LongTensor（int64类型），但C代码里input2 = torch::zeros({1, 12})默认生成float32类型张量，输入类型不一致会直接导致模型输出差异。
修复：在C中显式指定int64类型：

torch::Tensor input2 = torch::zeros({1, 12}, torch::kInt64);

2. 模型权重加载错误 #

Python代码中model.load_state_dict("path/to/weights")是错误的：load_state_dict需要传入加载后的state_dict对象，而非路径字符串。如果不修正，模型会使用随机权重而非预训练权重，必然导致输出不一致。
修复：正确加载权重：

model.load_state_dict(torch.load("path/to/weights", map_location=device))

3. 模型模式不一致 #

• 你在Trace模型时未将PyTorch模型切换到eval()模式，而C++推理时调用了model.eval()。如果模型包含Dropout、BatchNorm等依赖训练/评估模式的层，两种模式下的行为会完全不同。
• 同时你的Python推理代码也未调用model.eval()，导致Python推理本身处于训练模式，和C++的评估模式输出不一致。
  修复：统一模型模式，在Trace和推理前都切换到eval模式：

# Python Trace前
model = Model().to(device)
model.load_state_dict(torch.load("path/to/weights", map_location=device))
model.eval()  # 新增这一行
input1 = torch.rand(1,1,32,100,dtype=torch.float32).to(device)
input2 = torch.LongTensor(1, 12).fill_(0).to(device)
traced_script_module = torch.jit.trace(model,(input1,input2,))
traced_script_module.save("tracedModel.pt")

# Python推理时也添加
model = Model().to(device)
model.load_state_dict(torch.load("path/to/weights", map_location=device))
model.eval()  # 新增这一行

4. Trace的局限性（分支逻辑未被捕获） #

如果你的模型中包含基于输入值的条件分支（如if/else判断），torch.jit.trace只会记录当前输入触发的分支路径，无法捕获所有可能的逻辑。若Trace用的随机输入和实际推理输入触发了不同分支，会导致输出差异。
修复：改用torch.jit.script直接解析模型代码，捕获所有分支逻辑：

model.eval()
script_module = torch.jit.script(model)
script_module.save("scriptedModel.pt")

C++端加载脚本模型的代码无需修改，和加载Trace模型的方式一致。

其他C++使用.pth模型的备选方案 #

如果TorchScript方案仍无法解决问题，可以尝试以下方法：

• ONNX+ONNX Runtime：将PyTorch模型导出为ONNX格式，使用ONNX Runtime的C++ API进行推理，兼容性好且支持多硬件。
• TensorRT：针对NVIDIA GPU场景，将PyTorch模型转换为TensorRT引擎，大幅提升推理性能，提供完整的C++推理接口。
• Python服务+C++ RPC调用：将模型部署为Python HTTP/gRPC服务，C++端通过网络请求调用模型获取结果，适合快速验证和迭代。

内容的提问来源于stack exchange，提问作者Karen Aleqsanyan