如何用TensorFlow Lite Model Maker基于自定义数据集构建收据扫描模型

一、数据集预处理（核心前提） #

• 标注数据：用LabelStudio或VGG Image Annotator工具，给收据图像标注文本框位置、字段类别（如金额、日期、商家名），导出为Pascal VOC/COCO格式，或直接适配Model Maker的CSV格式（需包含图片路径、标注框坐标、字段类型列）。
• 针对性数据增强：模拟真实拍摄场景做增强，包括：
  • ±15°旋转（适配手持拍摄角度）
  • 亮度/对比度调整（应对不同光线环境）
  • 模糊、阴影加噪（模拟实际扫描的瑕疵）
  • 拉伸、倾斜仿射变换（模拟收据摆放不正的情况）
• 数据集划分：按7:2:1比例拆分训练集、验证集、测试集，保证各字段类别在三类数据中分布均匀。

二、基于Model Maker的模型定制流程 #

1. 匹配任务类型 #

收据扫描核心是文本检测+字段识别，Model Maker支持两类适配任务：

• 文本检测：用object_detector模块，将收据上的文本框视为检测目标
• 字段识别：用text_recognizer或text_classifier模块，识别框内文字或直接归类字段类型

2. 加载并预处理数据集 #

以文本检测为例，代码示例：

from tflite_model_maker import object_detector
from tflite_model_maker.object_detector import DataLoader

# 加载标注好的数据集
data = DataLoader.from_pascal_voc(
    images_dir='path/to/your/images',
    annotations_dir='path/to/your/annotations',
    label_map={'amount': 1, 'date': 2, 'merchant': 3}
)

# 拆分训练/验证/测试集
train_data, rest_data = data.split(0.7)
validation_data, test_data = rest_data.split(0.67)

3. 预训练模型微调 #

优先选择轻量型预训练模型适配移动端，比如efficientdet-lite0或mobilenetv2，代码示例：

# 初始化模型并启动微调
model = object_detector.create(
    train_data,
    model_spec=object_detector.EfficientDetLite0Spec(),
    validation_data=validation_data,
    epochs=20,
    batch_size=8,
    train_whole_model=True  # 全局微调，强化收据场景适配性
)

• 关键调整：若默认预训练模型效果不佳，可开启train_whole_model=True，或降低learning_rate（如设为0.0001）避免过拟合；字段识别任务可替换为text_recognizer.create()，以收据字段文本为分类目标。

4. 模型评估与优化 #

• 测试集验证精度：

model.evaluate(test_data)

• 导出轻量化TFLite模型：开启INT8/FP16量化，减小体积并提升移动端推理速度

model.export(export_dir='./output', 
             tflite_filename='receipt_scanner.tflite', 
             quantization_config=object_detector.INT8QuantizationConfig())

三、移动端部署适配 #

• 将导出的TFLite模型放入应用资源目录
• 用TensorFlow Lite移动端API加载模型：
  • 图像预处理：将摄像头采集的图像缩放到模型要求的输入尺寸（如320x320），转换为RGB格式
  • 推理后处理：解析模型输出的文本框坐标与字段类别，在界面绘制标注并提取对应内容

四、迭代优化 #

• 补充难例样本：针对模糊、褶皱、特殊字体的收据重新标注训练
• 调整模型参数：增加训练轮数、调整批次大小，或换用稍大的预训练模型（如efficientdet-lite1）

内容的提问来源于stack exchange，提问作者Kyle Moore