验证码识别模型鲁棒性问题及CTC Loss下降停滞技术求助

看起来你遇到的问题非常典型——模型依赖了固定位置信息而非字符本身的特征，改用CTC Loss是正确的方向，但Loss停滞需要从几个关键环节排查。下面是我结合实践给出的具体建议：

1. 排查CTC Loss的核心实现细节 #

CTC Loss的计算对输入格式、参数设置要求很严格，很多停滞问题都源于这里：

• 确认输入序列维度符合框架要求：比如在PyTorch中，CTCLoss要求输入为(seq_len, batch_size, num_classes)，如果你的LSTM输出是(batch_size, seq_len, num_classes)，需要用permute(1, 0, 2)转换维度
• 必须包含空白符（blank token）：num_classes应该设置为「字符类别数 + 1」，空白符是CTC用来处理重复字符和空格的关键
• 正确设置input_lengths和target_lengths：
  • input_lengths是每个样本的特征序列长度（比如ResNet输出特征图展平后的序列长度），必须大于等于target_lengths（每个样本的标签字符数，包括空格）
  • 如果所有样本resize到统一尺寸，input_lengths可以设为固定值；如果尺寸不一，要逐个计算
• 标签预处理：不需要手动去除重复字符，CTC会自动处理序列中的重复，只需将标签转换为对应的索引序列即可

2. 调整特征提取与序列建模的衔接 #

你的ResNet+LSTM结构需要确保特征适合序列建模：

• 重构ResNet的输出：不要用全局平均池化（会丢失空间序列信息），保留卷积层的特征图，比如将(batch, C, H, W)的特征图转换为(batch, W, H*C)（因为验证码是横向的，宽度W对应序列步长，高度H+通道C作为每个步长的特征）
• 加入1x1卷积层：在ResNet和LSTM之间添加nn.Conv2d(in_channels, out_channels, kernel_size=1)，用来降维或增强特征，减少LSTM的计算压力，同时让特征更聚焦于字符本身
• 分层训练：先冻结ResNet的预训练层，训练LSTM和全连接层，待Loss下降稳定后，再解冻ResNet的顶层（比如最后2-3个卷积块）进行微调，避免预训练特征被破坏

3. 优化训练策略打破Loss停滞 #

• 调整学习率：CTC Loss对学习率敏感，试试用AdamW优化器（带权重衰减，防止过拟合），初始学习率设为1e-4，配合ReduceLROnPlateau调度器——当连续3个epoch Loss无下降时，将学习率减半
• 增强数据多样性：除了添加空格，还要加入更多干扰：字符变形、随机模糊、噪声、轻微旋转/缩放、字符间距随机变化等，强迫模型学习字符的本质特征而非位置。比如用captcha库生成时，可以自定义参数：

  from captcha.image import ImageCaptcha
  image = ImageCaptcha(width=160, height=60, font_sizes=[40])
  # 生成带空格和噪声的验证码
  data = image.generate("A B C", noise_density=0.1)
  

• 调整batch size：如果显存允许，将batch size调到32或64，更大的batch能让梯度估计更稳定，帮助模型跳出局部最优

4. 验证中间输出定位问题 #

• 可视化ResNet的特征图：查看不同位置的字符（包括空格）对应的特征是否有明显区分度，即使位置变化，相同字符的特征是否聚类
• 检查LSTM输出：取出某个样本的LSTM输出，看每个时间步的类别概率是否对应正确的字符/空格，比如空格位置的概率是否能被激活
• 用t-SNE降维可视化LSTM的输出特征，观察不同字符（包括空格）的特征是否形成独立的簇，这能直观判断模型是否学到了字符特征

5. 确保数据预处理与标签的正确性 #

• 空格必须作为独立类别加入字符集合：比如你的字符集是0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ （注意末尾的空格），编码时给空格分配唯一索引
• 统一验证码尺寸：所有样本resize到相同的高和宽，保证特征序列长度一致，避免input_lengths混乱
• 标签要准确对应：比如验证码图像是"A B C"，标签序列必须是[A的索引, 空格的索引, B的索引, 空格的索引, C的索引]，不能省略空格

内容的提问来源于stack exchange，提问作者Borg Lin