PDF训练数据与JPG测试数据对文档AI模型性能的影响及优化问询

核心思路：对齐训练与测试的视觉特征分布 #

训练用PDF、测试用扫描JPG的核心矛盾是两者输入特征差异——PDF是结构化矢量/文本数据，扫描JPG是带噪声的像素数据，模型容易学到PDF独有的特征（比如清晰的矢量文本、精确排版坐标），导致在扫描件上泛化能力差。

1. 重构训练数据输入格式 #

• 把所有80份PDF渲染为模拟扫描件格式作为训练输入：用工具（如Poppler、PyMuPDF）将PDF按测试JPG的分辨率（比如300DPI）渲染为图像，再批量添加扫描噪声（轻微模糊、灰度不均、边缘阴影、±10度倾斜），完全对齐测试数据的视觉特征。原生PDF的文本和格式信息仅作为标注标签，不再作为模型输入的一部分。
• 避免直接使用PDF的结构化文本嵌入，强制模型从像素级学习文档特征，消除格式差异带来的特征偏移。

2. 小样本下的针对性数据增强 #

通用数据增强（如随机翻转、裁剪）会破坏文档排版逻辑，反而降低性能，要做文档专属增强：

• 模拟真实扫描场景：添加不同程度的模糊、色差、扫描阴影，随机插入轻微手写批注干扰，调整文档缩放比例（±10%）；
• 针对关键字段增强：单独提取航运指令的核心字段（如SHIPPER、PORT OF LOADING、提单号），生成包含这些字段的局部样本，补充到训练集；
• 引入OCR噪声模拟：将PDF文本随机替换为相似字形（0/O、l/1）、添加字符缺失或模糊，让模型适应扫描件OCR后的文本误差。

3. 利用预训练模型做小样本微调 #

不要从零训练自定义提取器，用预训练的文档理解模型（如LayoutLMv3、DocTR）做微调：

• 这类模型已经在数百万份文档上学习了排版结构、文本语义和视觉特征，小样本下微调能快速适配航运指令的特定格式；
• 微调时重点关注布局特征（文本块的位置、大小、相对关系），航运指令的字段位置通常有固定规律，强化布局特征能降低对文本清晰度的依赖。

4. 半监督与伪标签补充样本 #

针对仅80份训练样本的问题，用半监督学习扩充有效样本：

• 把20份测试样本的未标注图像加入训练，用基础模型预测伪标签，筛选置信度≥0.9的样本作为训练数据；
• 收集同类型的公开航运指令文档（无标注），用伪标签方法生成标注数据，补充到训练集。

5. 错误分析与定向优化 #

• 对测试样本做错误分类：区分是字段漏检、误检，还是扫描噪声导致的识别错误。比如如果提单号这类固定格式字段总是识别错，就单独优化该字段的特征提取逻辑（比如加入正则约束）；
• 分层评估：分别评估PDF转模拟扫描件的训练样本、真实扫描测试样本的F1值，定位是模拟场景不够真实，还是模型泛化能力不足。

内容的提问来源于stack exchange，提问作者lht_18018