PyPDF2转文本后正则提取简历经验模块失败问题排查及优化

常见失败原因 #

1. PDF转文本格式混乱：PyPDF2提取文本时可能会把模块标题拆分成多行（比如Work\nExperience）、引入多余空白，或者大小写不一致（比如work experience而非Work Experience），导致正则匹配失效。
2. 正则表达式过于僵化：硬编码单一标题（比如只匹配Work Experience），没考虑简历中常见的变体（如Professional Experience、Employment History、工作经历），也没处理标题前后的特殊字符或空白。
3. 模块边界定义错误：正则只匹配了标题，但没正确识别经验模块的结束位置（比如下一个模块Education、技能的开头），导致无法捕获完整内容。
4. PyPDF2提取局限性：如果是扫描件PDF（图片转的PDF），PyPDF2根本提取不到有效文本；部分加密或复杂排版的PDF也会出现提取乱码、内容缺失的情况。

改进方案 #

第一步：先排查原始文本格式 #

先打印PyPDF2提取的原始文本片段，确认经验模块的实际呈现形式：

import PyPDF2

def get_pdf_text(pdf_path):
    with open(pdf_path, 'rb') as f:
        reader = PyPDF2.PdfReader(f)
        full_text = ''
        for page in reader.pages:
            page_text = page.extract_text()
            if page_text:
                full_text += page_text
    # 打印前1000字符，查看实际格式
    print(full_text[:1000])
    return full_text

第二步：优化正则提取逻辑 #

针对标题变体、格式混乱的问题，使用不区分大小写的匹配+多标题覆盖+动态边界的正则：

import re

def extract_experience(resume_text):
    # 覆盖常见的经验模块标题，支持中英文，不区分大小写
    experience_headers = r'(work experience|professional experience|employment history|career history|工作经历|职业经历)'
    # 定义经验模块的结束边界：下一个常见模块标题或文本结尾
    end_boundaries = r'(education|skills|projects|certifications|教育背景|技能|项目|证书)'
    
    pattern = rf'(?i){experience_headers}\s*(.*?)(?=\n{end_boundaries}\s*:?|\Z)'
    match = re.search(pattern, resume_text, re.DOTALL)
    
    if match:
        # 清理内容中的多余换行和空白
        clean_content = re.sub(r'\s+', ' ', match.group(2)).strip()
        return clean_content
    else:
        # 备选方案：不依赖模块标题，通过日期+关键词提取经验条目
        # 匹配包含年份范围（如2018-2022、2020 – Present）的段落
        fallback_pattern = r'(?i)(\d{4}[-/]\d{4}|\d{4}\s*(?:–|-|to)\s*(?:\d{4}|Present|至今))\s*(.*?)(?=\n\d{4}|\Z)'
        experience_entries = re.findall(fallback_pattern, resume_text, re.DOTALL)
        if experience_entries:
            return '\n'.join([f"{date.strip()}: {content.strip()}" for date, content in experience_entries])
        return "Experience section not found"

第三步：解决PyPDF2的提取缺陷 #

• 如果是扫描件PDF：需要用OCR工具提取文本，示例代码：

  from pdf2image import convert_from_path
  import pytesseract
  
  def extract_scanned_pdf(pdf_path):
      # 需提前安装poppler和pytesseract
      images = convert_from_path(pdf_path)
      full_text = ''
      for img in images:
          # 支持中英文混合识别，lang参数根据需求调整
          full_text += pytesseract.image_to_string(img, lang='chi_sim+eng')
      return full_text
  

• 普通PDF提取乱码/格式差：改用pdfplumber替代PyPDF2，它的文本提取更精准，能保留更好的排版结构：

  import pdfplumber
  
  def get_pdf_text_with_pdfplumber(pdf_path):
      with pdfplumber.open(pdf_path) as pdf:
          full_text = ''
          for page in pdf.pages:
              full_text += page.extract_text() or ''
      return full_text
  

注意事项 #

• 不同简历的模块标题可能有特殊变体，需要根据实际场景补充experience_headers里的关键词；
• 若简历排版极其不规则，可考虑结合关键词（如职位名、公司名）进一步过滤提取结果；
• 测试时先针对单份简历的原始文本调整正则，再批量验证。

内容的提问来源于stack exchange，提问作者Roshankumar