使用pdfplumber提取学术文本后如何拆分摘要与其余章节到两个变量(正则实现未生效)
学术PDF摘要/正文拆分可落地方案
先修正原有代码的核心Bug
你之前的文本提取逻辑存在硬伤,是后续拆分无法生效的基础原因:
- 变量名与累加逻辑错误:初始化时定义空字符串
all_text用于拼接全文,但循环中却额外创建了all_texts变量,且全程没有更新all_text的值。每轮循环都从初始的空字符串开始拼接,最终all_texts仅能保存最后一页的提取文本,根本没有得到完整的PDF全文 - 无空值兜底:部分PDF页面会因为扫描、排版问题提取为空,直接拼接会引入无意义的换行符
修正后的基础提取代码:
import re import pdfplumber all_text = "" with pdfplumber.open("你的PDF文件实际路径.pdf") as pdf: for pdf_page in pdf.pages: single_page_text = pdf_page.extract_text() # 跳过提取为空的页面,避免无意义空行 if single_page_text: all_text += "\n" + single_page_text
高容错拆分逻辑(适配绝大多数中英文论文格式)
之前纯正则拆分失效的常见原因是没有锚定学术论文的标准化结构,直接硬匹配单个字符串很容易把正文里提到的“摘要”“引言”文字误判为块标题。拆分时依托两个稳定的结构锚点即可:
- 摘要块范围:从独立成行的摘要标题开始,到第一个一级引言章节标题之前结束,这部分中间包含的关键词、中图分类号、基金项目等附属内容,统一归为摘要部分
- 正文块范围:从匹配到的一级引言章节标题开始,到匹配到的结论章节标题结束,这部分即为从引言到结论的全部章节内容
对应的拆分实现代码:
# 匹配摘要块标题:兼容中英文、大小写、带缩进的排版 abstract_title_pattern = re.compile(r'^\s*(摘要|Abstract|ABSTRACT)\s*$', re.MULTILINE) # 匹配引言一级标题:兼容数字编号、中文序号、大小写差异 intro_title_pattern = re.compile(r'^\s*(1\s*\.?\s*引言|1\s*\.?\s*Introduction|一[、..]\s*引言)\s*$', re.MULTILINE) # 匹配结论一级标题:用于截断正文范围,避免把参考文献、附录算入正文 conclusion_title_pattern = re.compile(r'^\s*(\d+\s*\.?\s*结论|Conclusion|CONCLUSION|结束语)\s*$', re.MULTILINE) # 锚定两个关键位置 abstract_pos = abstract_title_pattern.search(all_text) intro_pos = intro_title_pattern.search(all_text) # 异常兜底:找不到锚点、锚点顺序错乱时留空,避免代码崩溃 if not abstract_pos or not intro_pos or intro_pos.start() <= abstract_pos.start(): abstract_content = "" main_content = "" else: # 截取摘要部分:从摘要标题开始,到引言标题之前结束 abstract_content = all_text[abstract_pos.start():intro_pos.start()].strip() # 截取正文部分:从引言开始,匹配结论位置做截断 remaining_text = all_text[intro_pos.start():] conclusion_pos = conclusion_title_pattern.search(remaining_text) if conclusion_pos: main_content = remaining_text[:conclusion_pos.end()].strip() else: # 找不到结论锚点时,取引言之后的全部文本作为兜底 main_content = remaining_text.strip()
适配优化要点
- 正则匹配时固定加
re.MULTILINE参数,让^和$可以匹配每一行的首尾,避免把跨行长句里提到的“摘要”“引言”误判为块标题 - 匹配规则中加入
\s*适配行首缩进、标题后多余空格的排版差异,减少严格匹配带来的漏判 - 全链路做空值判断,对扫描版PDF、格式特殊的预印本做兜底,避免出现索引越界的报错
内容的提问来源于stack exchange,提问作者Ghost123
相关产品推荐
相关产品推荐

