基于TensorFlow Lite与MLKit的支票检测模型训练优化问询

1. 基础模型选择及特性关注 #

• 优先选用轻量级通用图像模型，比如MobileNet系列（V2/V3）、EfficientNet-Lite：这类模型专为移动/边缘设备设计，体积小、推理快，适配MLKit的部署场景。
• 不同基础模型的影响：
  • 大模型（如EfficientNet-B4及以上）：特征提取能力强，但体积大、推理延迟高，不适合移动端实时检测场景；
  • 轻量级模型：速度快、资源占用低，但对细微特征的捕捉能力稍弱，需要针对性微调适配支票场景。
• 支票检测场景需重点关注的特性：
  • 小目标适配能力：实际检测中支票可能在画面中占比不大，模型需具备识别小尺寸目标的能力；
  • 环境鲁棒性：能应对不同光照（强光、弱光、背光）、背景（桌面、柜台、杂乱场景）、支票状态（新票、旧票、有折痕/污渍）的差异；
  • 旋转不变性：如果要处理倒置问题，模型需能学习到不受朝向影响的支票核心特征。

2. 训练数据选择：保留背景的真实照片 #

• 不要用裁剪后的图像作为核心训练数据。实际检测场景中，支票是在带背景的画面里出现的，用裁剪图训练的模型泛化能力极差，无法识别真实场景中带背景的支票。
• 可少量加入裁剪图作为辅助，但核心数据集必须是真实拍摄的完整照片，包含各种背景、拍摄角度、光照条件的样本。

3. 倒置状态识别优化方案 #

• 改用目标检测+姿态判断的思路：直接检测支票的同时输出其旋转状态（正/倒），比单独做朝向分类更简洁高效，也更轻量化。
• 强化数据增强的旋转鲁棒性：训练时对所有样本随机做0°/180°旋转，同时搭配水平翻转、亮度调整、随机裁剪等操作，强制模型学习不受朝向影响的支票特征。
• 微调模型输出层：在原有的正反面分类分支基础上，增加朝向二分类分支（正/倒），让模型同时学习分类和姿态判断；如果用MLKit目标检测，标注数据时给每个支票边框附加朝向标签，训练时同步学习检测与朝向识别。
• 若之前单独加朝向样本效果差，大概率是样本多样性不足，需补充不同场景下的倒置支票样本，而非仅对现有样本做旋转复制。

4. 优质数据集的样本量要求 #

• 基础阈值：每个细分类别（正面正、正面倒、背面正、背面倒）至少200张不同场景的真实样本，总样本量建议1000张以上。
• 核心是样本多样性：需覆盖不同光照、背景、支票状态、拍摄角度的情况，避免样本同质化导致过拟合。
• 样本不足时，可通过数据增强补充（旋转、翻转、亮度调整、添加轻微噪声等），但增强样本的数量不宜超过真实样本的2倍，防止模型过度依赖增强特征。

内容的提问来源于stack exchange，提问作者Andrew