Document AI模型训练F1分数影响因素及相关技术疑问咨询

背景梳理 #

• 初始训练：仅用1个字段训练模型（规避UI漏洞），50张训练图+50张测试图，F1分数0.306
• 二次训练：新增150张自动标注训练图（位置识别准确，文本转换精度波动大），部署后F1降至0.17
• 当前进度：审核调整自动标注标签后，F1已提升至0.357

疑问解答 #

1. 是否值得修正文本转换结果？“人在回路”的反馈会回传至OCR模块吗？ #

• 肯定值得修正。文本转换的准确性是OCR模型性能的核心指标，修正错误标注能给模型提供精准的监督信号，直接提升后续训练效果。
• 主流云OCR平台的“人在回路”机制都会把修正后的文本回传至OCR模型的迭代优化流程，作为标注数据参与模型微调，帮助模型学习正确的文本映射逻辑。

2. 扩大测试集后，修正的OCR值会用于测试分数计算吗？会回传至系统优化未来转换结果吗？ #

• 修正后的OCR值不能用于测试分数计算。测试集的核心作用是客观评估模型泛化能力，必须保持标注独立、真实，才能反映模型在未知数据上的真实表现。若要验证修正标注的效果，应该用修正后的标注重新训练模型，再用独立测试集评估。
• 修正后的OCR值可以作为训练/验证集的补充数据回传至系统，用于优化未来的模型转换结果，但绝对不能混入测试集。

3. 识别框的尺寸和形状是否影响F1分数计算？微调文本选择是否更符合AI识别预期？ #

• 是的，识别框的精度是F1分数计算的关键维度。多数OCR模型的F1会同时计算**检测框的交并比（IoU）**和文本识别准确率，只有当检测框与真实框重叠度达标，且文本识别正确时，才会被判定为有效正确样本。
• 需要微调识别框。早期为覆盖手写内容预留空白的做法会降低检测框与真实文本区域的IoU，拉低F1分数。建议调整框的范围，尽量贴合文本实际边界，减少冗余空白，这样更符合AI模型对目标区域的识别预期，能有效提升检测精度，进而带动整体F1上升。

内容的提问来源于stack exchange，提问作者Stephen