基于分类与格式分析的PDF标题提取方案技术问询

问题1：直接合并所有首页的特征矩阵是否可行？ #

不行。直接合并会丢失单页内的上下文关联——标题的判断高度依赖它在当前页面内的相对位置、与周围文本的字号/字体差异，合并后这些页面内的相对规律会被抹平，模型根本学不到“某文本在页面最顶部且字号远大于其他内容”这类核心逻辑。

解决办法：

• 给每个span添加页面ID特征，保证模型能识别哪些span属于同一页面；
• 替换部分绝对特征为相对特征：比如把绝对y坐标换成「y0/页面总高度」，把绝对字号换成「当前字号/页面平均字号」，添加「与前一个span的字号差」「与页面顶部的距离占比」这类特征，这样即使合并所有数据，也能保留页面内的相对关系。

问题2：哪种模型能捕捉标题的上下文结构与序列？ #

根据你的需求，推荐三类模型：

• CRF（条件随机场）：专门为序列标注任务设计，能学习到“标题通常连续出现（主标题+副标题）”“标题之后大概率是正文”这类序列依赖规则，算力要求低，容易落地，完全适配你逐span标注的场景。
• 轻量序列深度学习模型：比如LSTM/GRU，或者DistilBERT这类轻量Transformer，把每个span的特征（布局特征+文本内容）按页面内的顺序输入，模型能同时捕捉布局的序列关系和文本的语义特征（比如标题通常是概括性短语，不会是正文的陈述句）。
• 传统树模型+滑动窗口特征：如果不想碰深度学习，可以给每个span添加滑动窗口特征（比如当前span前后3个span的字号、位置、字体），把这些特征喂给XGBoost、RandomForest，也能间接捕捉上下文关联。

问题3：当前方案是否合理？该如何改进？ #

基础思路是可行的，但只提取单个span的孤立特征、用普通分类器的做法，鲁棒性会很差，需要从这几个方向优化：

1. 补充特征维度：
   • 增加相对特征：比如标题通常跨页面宽度，可添加「(x1-x0)/页面宽度」；标题一般在页面顶部，添加「y0/页面高度」；
   • 增加上下文特征：比如当前span与前一个span的y坐标差（判断是否在同一行）、字号比值（判断是否是副标题）；
   • 增加文本语义特征：比如span文本的长度、是否全大写、是否包含特定关键词（比如“报告”“通知”）。
2. 优化模型选择：放弃普通的单样本分类器，改用CRF或序列深度学习模型，利用序列关系提升准确率。
3. 分布局处理：你有100种布局，不同布局的标题规则差异极大，建议先对PDF布局做聚类（用页面的平均字号、文本块分布、对齐方式等特征），把相似布局的PDF归为一类，针对每类单独标注训练，效果会远好于混训。
4. 提升标注效率：20000份全手动标注不现实，先标注200-300份覆盖主要布局的样本，训练初始模型后自动标注剩余样本，再人工修正错误标注，大幅减少工作量。

内容的提问来源于stack exchange，提问作者Moritz