You need to enable JavaScript to run this app. 使用pdfplumber提取学术文本后如何拆分摘要与其余章节到两个变量(正则实现未生效)
优惠活动
大模型
产品
解决方案
定价
更多

使用pdfplumber提取学术文本后如何拆分摘要与其余章节到两个变量(正则实现未生效)

学术PDF摘要/正文拆分可落地方案

先修正原有代码的核心Bug

你之前的文本提取逻辑存在硬伤,是后续拆分无法生效的基础原因:

  • 变量名与累加逻辑错误:初始化时定义空字符串all_text用于拼接全文,但循环中却额外创建了all_texts变量,且全程没有更新all_text的值。每轮循环都从初始的空字符串开始拼接,最终all_texts仅能保存最后一页的提取文本,根本没有得到完整的PDF全文
  • 无空值兜底:部分PDF页面会因为扫描、排版问题提取为空,直接拼接会引入无意义的换行符

修正后的基础提取代码:

import re
import pdfplumber

all_text = ""
with pdfplumber.open("你的PDF文件实际路径.pdf") as pdf:
    for pdf_page in pdf.pages:
        single_page_text = pdf_page.extract_text()
        # 跳过提取为空的页面,避免无意义空行
        if single_page_text:
            all_text += "\n" + single_page_text

高容错拆分逻辑(适配绝大多数中英文论文格式)

之前纯正则拆分失效的常见原因是没有锚定学术论文的标准化结构,直接硬匹配单个字符串很容易把正文里提到的“摘要”“引言”文字误判为块标题。拆分时依托两个稳定的结构锚点即可:

  1. 摘要块范围:从独立成行的摘要标题开始,到第一个一级引言章节标题之前结束,这部分中间包含的关键词、中图分类号、基金项目等附属内容,统一归为摘要部分
  2. 正文块范围:从匹配到的一级引言章节标题开始,到匹配到的结论章节标题结束,这部分即为从引言到结论的全部章节内容

对应的拆分实现代码:

# 匹配摘要块标题:兼容中英文、大小写、带缩进的排版
abstract_title_pattern = re.compile(r'^\s*(摘要|Abstract|ABSTRACT)\s*$', re.MULTILINE)
# 匹配引言一级标题:兼容数字编号、中文序号、大小写差异
intro_title_pattern = re.compile(r'^\s*(1\s*\.?\s*引言|1\s*\.?\s*Introduction|一[、..]\s*引言)\s*$', re.MULTILINE)
# 匹配结论一级标题:用于截断正文范围,避免把参考文献、附录算入正文
conclusion_title_pattern = re.compile(r'^\s*(\d+\s*\.?\s*结论|Conclusion|CONCLUSION|结束语)\s*$', re.MULTILINE)

# 锚定两个关键位置
abstract_pos = abstract_title_pattern.search(all_text)
intro_pos = intro_title_pattern.search(all_text)

# 异常兜底:找不到锚点、锚点顺序错乱时留空,避免代码崩溃
if not abstract_pos or not intro_pos or intro_pos.start() <= abstract_pos.start():
    abstract_content = ""
    main_content = ""
else:
    # 截取摘要部分:从摘要标题开始,到引言标题之前结束
    abstract_content = all_text[abstract_pos.start():intro_pos.start()].strip()
    # 截取正文部分:从引言开始,匹配结论位置做截断
    remaining_text = all_text[intro_pos.start():]
    conclusion_pos = conclusion_title_pattern.search(remaining_text)
    if conclusion_pos:
        main_content = remaining_text[:conclusion_pos.end()].strip()
    else:
        # 找不到结论锚点时,取引言之后的全部文本作为兜底
        main_content = remaining_text.strip()

适配优化要点

  • 正则匹配时固定加re.MULTILINE参数,让^和$可以匹配每一行的首尾,避免把跨行长句里提到的“摘要”“引言”误判为块标题
  • 匹配规则中加入\s*适配行首缩进、标题后多余空格的排版差异,减少严格匹配带来的漏判
  • 全链路做空值判断,对扫描版PDF、格式特殊的预印本做兜底,避免出现索引越界的报错

内容的提问来源于stack exchange,提问作者Ghost123

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 07:15:03