You need to enable JavaScript to run this app. 训练TPSSpatialTransformationNetwork时输入维度不匹配报错求助
优惠活动
大模型
产品
解决方案
定价
更多

训练TPSSpatialTransformationNetwork时输入维度不匹配报错求助

报错根因分析

你的报错提示是期望4维输入传给卷积层,但拿到了2维张量,核心问题出在特征展平后尺寸不匹配,另外你当前实现的是仿射空间变换网络,并非TPS薄板样条变换网络。
首先先对齐输入张量的标准格式:你用的是单通道32*128的输入图像,输入到模型的张量形状应该是[批次大小, 1, 32, 128],我们以此为基准推算各层输出尺寸:

定位网络的输出尺寸计算

  • 第一层卷积:nn.Conv2d(1,8,kernel_size=7)无填充、步长为1,输出尺寸高=32-7+1=26,宽=128-7+1=122,形状为[N,8,26,122]
  • 第一次池化:MaxPool2d(2,stride=2)输出尺寸高=13,宽=61,形状为[N,8,13,61]
  • 第二层卷积:nn.Conv2d(8,79,kernel_size=5)输出尺寸高=13-5+1=9,宽=61-5+1=57,形状为[N,79,9,57]
  • 第二次池化:MaxPool2d(2,stride=2)输出尺寸高=4,宽=28,形状为[N,79,4,28],你这里的展平计算是正确的,展平后维度为79*4*28=8848

主网络的尺寸错误点

STN输出的矫正后图像还是[N,1,32,128],走主网络卷积时:

  • conv1输出池化后形状为[N,79,14,62]
  • conv2输出池化后形状为[N,256,5,29],总特征维度为256*5*29=37120
    你直接写x = x.view(-1, 256)是完全错误的,硬将37120维的特征拉成256维会直接打乱张量形状,最终你输出的2维分类张量[N,79]被外部的卷积层(报错里的权重[64,1,3,3]属于外部网络)接收,就触发了维度不匹配的报错。

修复方案

1. 若你需要保留现有分类结构

修改主网络的全连接层输入维度和展平逻辑:

# 初始化部分修改fc1的输入维度
self.fc1 = nn.Linear(37120, 512)

# forward部分修改展平逻辑,保留批次维度,其余特征全部展平
x = x.view(x.size(0), -1)

2. 若你是将STN作为OCR等任务的前置图像矫正模块

直接删除主网络中conv1、conv2_drop、fc1、fc2这些分类相关层,forward函数直接返回STN的输出即可:

def forward(self, x):
    x = self.stn(x)
    return x

返回的是4维图像张量[N,1,32,128],可以正常传给后续的卷积层。

3. TPS实现补充

如果需要实现真正的TPS变换,你需要修改定位网络输出为控制点坐标,再通过TPS插值计算采样网格,当前你实现的是仿射变换逻辑。


内容的提问来源于stack exchange,提问作者Quynh Anh Pham

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 14:24:03