基于TensorFlow2.0搭建OCR模型时混合字符标签的输入格式如何设置

1. 构造字符映射表 #

首先统一所有可能出现的字符的编码规则：

• 先明确字母是否区分大小写：无特殊要求建议统一转大写/小写，压缩字符集规模。不区分大小写的场景下总字符数为 26个字母 + 10个数字 = 36个；区分大小写则为 52个字母 +10个数字 = 62个
• 给每个字符分配唯一整数索引，示例映射规则：0→0, 1→1 ... 9→9, A→10, B→11 ... Z→35，如果后续用CTC损失可以额外增加1个空白填充位的索引

2. 标签格式转换 #

你的场景是固定10位长度的标签，直接适配CNN多分类输出的处理逻辑如下：

1. 逐位转换标签字符串为整数索引：例如标签AB12345678会转换为长度为10的整数数组 [10, 11, 1, 2, 3, 4, 5, 6, 7, 8]
2. 匹配损失函数选择对应输出格式：
   • 用SparseCategoricalCrossentropy的场景：直接用上述10维整数数组作为监督标签，模型最后输出10个独立的36/62分类头（对应每一位的字符预测），总损失取10个分类头损失的加权和即可
   • 用普通CategoricalCrossentropy的场景：将10维整数数组做独热编码，转换为形状为(10, 36)的二维数组作为标签即可

3. 适配纯数字参考项目的改动点 #

你参考的纯数字验证码项目仅需调整两处即可适配混合字符场景：

• 将原项目中10分类的输出头替换为对应你字符集大小的36/62分类头
• 新增字符与整数索引的双向映射工具函数：训练前将标签从字符串转换为整数索引，预测结束后将输出的索引转换回对应字符即可

可选优化方案 #

如果后续需要支持可变长度的标签，可将CNN提取的特征后接入CTC损失层，此时仅需将标签转换为稀疏张量格式，同时预留空白字符的索引位即可。

内容的提问来源于stack exchange，提问作者Ayesha Khan