训练TPSSpatialTransformationNetwork时输入维度不匹配报错求助
报错根因分析
你的报错提示是期望4维输入传给卷积层,但拿到了2维张量,核心问题出在特征展平后尺寸不匹配,另外你当前实现的是仿射空间变换网络,并非TPS薄板样条变换网络。
首先先对齐输入张量的标准格式:你用的是单通道32*128的输入图像,输入到模型的张量形状应该是[批次大小, 1, 32, 128],我们以此为基准推算各层输出尺寸:
定位网络的输出尺寸计算
- 第一层卷积:
nn.Conv2d(1,8,kernel_size=7)无填充、步长为1,输出尺寸高=32-7+1=26,宽=128-7+1=122,形状为[N,8,26,122] - 第一次池化:
MaxPool2d(2,stride=2)输出尺寸高=13,宽=61,形状为[N,8,13,61] - 第二层卷积:
nn.Conv2d(8,79,kernel_size=5)输出尺寸高=13-5+1=9,宽=61-5+1=57,形状为[N,79,9,57] - 第二次池化:
MaxPool2d(2,stride=2)输出尺寸高=4,宽=28,形状为[N,79,4,28],你这里的展平计算是正确的,展平后维度为79*4*28=8848
主网络的尺寸错误点
STN输出的矫正后图像还是[N,1,32,128],走主网络卷积时:
- conv1输出池化后形状为
[N,79,14,62] - conv2输出池化后形状为
[N,256,5,29],总特征维度为256*5*29=37120
你直接写x = x.view(-1, 256)是完全错误的,硬将37120维的特征拉成256维会直接打乱张量形状,最终你输出的2维分类张量[N,79]被外部的卷积层(报错里的权重[64,1,3,3]属于外部网络)接收,就触发了维度不匹配的报错。
修复方案
1. 若你需要保留现有分类结构
修改主网络的全连接层输入维度和展平逻辑:
# 初始化部分修改fc1的输入维度 self.fc1 = nn.Linear(37120, 512) # forward部分修改展平逻辑,保留批次维度,其余特征全部展平 x = x.view(x.size(0), -1)
2. 若你是将STN作为OCR等任务的前置图像矫正模块
直接删除主网络中conv1、conv2_drop、fc1、fc2这些分类相关层,forward函数直接返回STN的输出即可:
def forward(self, x): x = self.stn(x) return x
返回的是4维图像张量[N,1,32,128],可以正常传给后续的卷积层。
3. TPS实现补充
如果需要实现真正的TPS变换,你需要修改定位网络输出为控制点坐标,再通过TPS插值计算采样网格,当前你实现的是仿射变换逻辑。
内容的提问来源于stack exchange,提问作者Quynh Anh Pham
相关产品推荐
相关产品推荐

