如何拆分PDF提取的无句号、问号、叹号类分隔符的多行文本为独立句子
无常规句末分隔符的PDF提取文本拆分方案
问题核心
PDF文本提取后的\n绝大多数是排版折行,并非真实的句子分隔;加上常规句末标点(.?!)缺失、首字母大写无法作为拆分依据(句中也可能出现大写内容)的场景下,单纯靠最大句子长度硬判的方案可靠性不足,本质是判断逻辑脱离语义边界,只靠长度规则容易出现误拆、误并的问题。
可落地的改进拆分逻辑
第一步:基础预处理
先把原始文本按\n切分为独立的最小行块,去掉每个行块首尾的多余空格,把判断逻辑从「整段扫描判断最大长度」改成「逐行块的相邻语义判断」。
第二步:替换最大长度判断为行块合并规则
核心原则:永远不把换行、下一行首字母大写作为拆分触发条件,只判断上一个行块是否为完整意群:
- 如果当前行块和上一个合并后的句子,满足以下情况,就执行拆分,结束当前句子
- 合并到当前行块的文本已经具备完整主谓结构,行尾没有半句残留(即行尾不是介词、不定式标记、从属连词、未闭合短语这类必须接后续内容的成分)
- 只要不满足上述拆分条件,不管下一行开头是不是大写,都把当前行块合并到上一句,不对内容做拆分
比如样本里的
"sentences of \n Dhiraj's sample",上一个行块的结尾是介词of,属于必须接后续内容的残留成分,哪怕下一行开头的Dhiraj是大写,也不会在这里拆分,从根源避免之前的误判问题。
第三步:把最大长度从拆分触发条件改成兜底校验
不再用最大长度卡死拆分位置,只把合理句长范围(英文平均句长15-25词)作为校验依据:
- 拆分出的单句长度超过40词,就回头检查是不是漏拆了完整意群
- 拆分出的单句长度低于3词,就检查是不是误拆了完整长句
效果验证
对应给出的测试样本,按上述逻辑处理后的输出和预期结果完全一致:
[ "This is multiline text without any delimiter need to be considered as one sentence", "Whereas this sentence is one liner", "Slash n or first char capital is not option as sentences of Dhiraj's sample can contain first letter capital even its not a new sentence" ]
如果需要进一步提升可靠性,可以搭配轻量句法分析工具逐行判断行尾的句法成分,减少纯规则的漏判,不需要依赖大模型也能达到很高的拆分准确率。
内容的提问来源于stack exchange,提问作者Dhiraj Patil
相关产品推荐
相关产品推荐

