AI multi-label classification产品识别：PDF模型训练方案选型咨询

业务背景 #

我当前正在落地面向单个产品识别的AI多标签分类项目，核心能力是从PDF文档中识别提取对应文本内容，目前处于样本标注筹备阶段，需要确定最终训练方案，相关业务规则如下：

• 多页组成的PDF文档统一称为packet，其中每一张单页对应packet内的一个独立产品
• 所有产品的页面版式固定，但源系统的标签规则（数据存储规则、存储字段范围）差异极大：同一个packet内可同时包含房产、汽车、摩托车、踏板车、船舶等不同类别的产品，不同产品需要提取存储的信息完全不同——例如汽车、摩托车、踏板车需要提取牌照号，房产需要提取单位为㎡的面积指标
• 当前全量产品类型超过350种，页面排列组合的可能性极多，项目现阶段仅需要识别其中7种产品，待评估的两个备选方案为：
  • 方案A：不拆分packet内的单个产品页，以完整packet为单位训练模型
  • 方案B：先将packet拆分为单个产品页，为每类产品搭建专属独立模型开展训练识别

方案对比示意图 #

两个方案实际落地优劣势分析 #

方案A（整packet训练） #

• 唯一优势：前期不需要做PDF拆页的预处理，工程链路看起来更短，标注时直接按整包打标签即可，不用额外做页码和产品的映射对齐
• 核心劣势：
  1. 模型学习难度极高：哪怕现阶段只覆盖7种产品，只要不同产品在packet里的页码、排列顺序没有固定规则，模型就需要同时学习“页码位置-产品类型-对应提取字段”三层关联关系，需要的标注样本量会是拆页方案的5-10倍，最终识别准确率也很难做到生产可用的水平
  2. 后续迭代成本极高：如果后续要新增识别的产品类型，整包模型需要重新喂入所有包含新产品的packet样本重训，训练过程中还可能干扰之前已经学好的旧产品识别逻辑，出现上线后旧功能识别效果回退的问题
  3. 出错排查难度大：整包模型很容易出现字段串页问题，比如把同packet里摩托车页的牌照号，错绑定到房产条目下，出问题后很难定位是哪一段逻辑出了错，运维排查成本很高

方案B（拆页后分专属模型训练） #

• 核心优势：
  1. 单模型落地难度极低：拆分后每个专属模型只需要处理固定版式的单类产品页，完全不需要考虑其他产品的干扰，仅需要少量标注样本就能达到95%以上的识别准确率，模型训练和调优周期非常短
  2. 后续扩展灵活性极强：后续如果要新增识别的产品类型，只需要给新产品单独训练一个专属模型即可，完全不会影响已上线7种产品的识别效果，不需要重训已有模型，架构可以平滑支撑后续全量350种产品的逐步覆盖
  3. 容错和运维成本低：整体链路拆成“PDF拆页-单页产品分类路由-对应专属模型提取字段”三段，每段逻辑独立，就算某一页识别出错，也不会影响同packet里其他页面的结果，出问题后可以快速定位到具体出错环节，排查效率高
  4. 标注成本更低：单页标注不需要考虑整包的上下文关联，标注规则简单清晰，标注人员上手快，标注出错的概率也更低
• 唯一劣势：前期需要多开发两个轻量环节：一是PDF自动拆页的预处理逻辑，二是拆页后做一个轻量的页级分类器，把单页路由到对应类别的专属模型。这两个环节开发量极小，用基础PDF处理工具加轻量文本分类模型，就能做到99%以上的准确率，额外投入的工作量可以忽略不计

最终选型建议 #

优先选方案B。
方案A看似省了前期一点预处理的开发量，但后续要付出的样本标注成本、模型调优成本、迭代扩展成本、运维排查成本远高于前期省的工作量，完全不适合这类产品类型多、字段差异大、后续有明确扩类需求的场景。

内容的提问来源于stack exchange，提问作者Ids Menssink