Theano训练的CNN权重迁移至PyTorch后预测异常问题排查

安全阿岳

2026-5-21

解决Theano权重迁移到PyTorch后全样本同类别预测的问题

我来帮你排查这个头疼的问题——这种所有样本都被预测为同一类的情况，大概率是权重维度不对齐、输入预处理不一致，或者前向传播逻辑和原Theano模型有偏差导致的。咱们一步步来梳理排查点：

1. 优先检查权重维度的匹配性

Theano和PyTorch的张量/卷积核维度规则差异很大，这是最容易踩坑的地方：

卷积层权重：
如果你的Theano卷积层用了dim_ordering='tf'（即输入是(batch, height, width, channels)格式），那它的卷积核维度是(filter_height, filter_width, in_channels, out_channels)；而PyTorch的nn.Conv2d默认权重格式是(out_channels, in_channels, filter_height, filter_width)。这时候必须对Theano导出的权重做维度转置，比如：
```
# 假设Theano导出的layer0_w shape是(3,3,3,32)（kh,kw,in_C,out_C）
# 转成PyTorch需要的(out_C,in_C,kh,kw)
torch_layer0_weight = torch.tensor(layer0_w.transpose(3,2,0,1)).float()
```
如果Theano用的是默认的dim_ordering='th'（输入(batch, channels, height, width)），那卷积核维度和PyTorch一致，直接赋值即可，但还是要打印两边的shape确认。
全连接层权重：
Theano的全连接层权重通常是(input_dim, output_dim)，而PyTorch的nn.Linear权重是(output_dim, input_dim)，所以需要转置权重矩阵：
```
# Theano的sm_w shape是(1024,2)，转成PyTorch需要的(2,1024)
torch_sm_weight = torch.tensor(sm_w.T).float()
```

原Theano模型的输入预处理步骤必须1:1复刻到PyTorch中，差一点都会导致输出异常：

像素值缩放：比如Theano中是否把图像缩到了[0,1]还是[-1,1]？有没有减去数据集均值？这些参数必须和原模型完全相同。
通道顺序：Theano如果用tf模式是HWC（高、宽、通道），PyTorch默认是CHW（通道、高、宽），需要用torch.permute(0,3,1,2)把输入从NHWC转成NCHW格式。
数据类型：Theano的输入一般是float32，PyTorch中也要确保输入张量是float()类型，避免用double()导致精度偏差。

逐层对比Theano和PyTorch的模型结构，确保每一层的逻辑完全一致：

激活函数：Theano中用的是T.nnet.relu？那PyTorch必须用nn.ReLU()，不能用ReLU6或者其他变种；如果原模型用了sigmoid，也要对应上。
池化层参数：Theano的nn.max_pool_2d的ds（池化核大小）、stride、padding参数，要和PyTorch的nn.MaxPool2d完全匹配，尤其是padding，两边的定义是否一致？
Flatten操作：Theano中用flatten或者reshape把卷积输出转成一维向量，PyTorch中要用x = x.view(x.size(0), -1)或者torch.flatten(x, 1)，确保转成的维度和原模型一致。

二分类场景下，Softmax层的处理很关键：

如果原Theano模型最后是Softmax输出两个类别的概率，PyTorch中要确保最后一层是nn.Linear(..., 2)，然后加上nn.Softmax(dim=1)（注意dim参数要对应类别所在的维度）。
检查Softmax的权重和偏置是否正确加载，尤其是权重维度是否做了转置（参考第1点的全连接层规则）。

找一个Theano中预测正确的样本，把预处理后的输入张量同时放到两个模型中，逐打印中间层的输出结果：

按照这个流程排查，基本能解决大部分权重迁移后的预测异常问题。

内容的提问来源于stack exchange，提问作者doubllle