Python提取PDF文本时视觉顺序不符问题及解决方案咨询

一、优先选用支持布局分析的PDF库 #

直接用PyPDF2这类只按PDF内部对象顺序提取的库必然踩坑，换用能获取文本坐标的库才能从根源解决问题：

1. PyMuPDF（fitz） #

能拿到每个文本块的坐标，通过坐标排序实现视觉顺序，双列布局也能通过划分列范围处理：

import fitz

def extract_text_by_layout(pdf_path):
    doc = fitz.open(pdf_path)
    full_text = ""
    for page in doc:
        # 获取带坐标的文本块（格式：[x0, y0, x1, y1, text, ...]）
        blocks = page.get_text("blocks")
        page_width = page.rect.width
        column_threshold = page_width / 2  # 双列分界点
        
        # 拆分左右列文本块
        left_col = [b for b in blocks if b[0] < column_threshold]
        right_col = [b for b in blocks if b[0] >= column_threshold]
        
        # 按y坐标倒序（PDF原点在左下角，y值越大越靠上），同一行按x正序
        left_col.sort(key=lambda b: (-b[1], b[0]))
        right_col.sort(key=lambda b: (-b[1], b[0]))
        
        # 合并左右列，左列在前
        sorted_blocks = left_col + right_col
        
        # 拼接文本，过滤空内容
        for block in sorted_blocks:
            text = block[4].strip()
            if text:
                full_text += text + "\n\n"
    return full_text

2. pdfplumber #

支持字符级坐标获取，布局分析更精细，还能单独提取表格避免混排：

import pdfplumber

def extract_text_with_pdfplumber(pdf_path):
    full_text = ""
    with pdfplumber.open(pdf_path) as pdf:
        for page in pdf.pages:
            chars = page.chars  # 获取每个字符的坐标、文本信息
            page_width = page.width
            column_threshold = page_width / 2
            
            # 拆分左右列字符
            left_chars = [c for c in chars if c["x0"] < column_threshold]
            right_chars = [c for c in chars if c["x0"] >= column_threshold]
            
            # 按视觉顺序排序
            left_chars.sort(key=lambda c: (-c["y0"], c["x0"]))
            right_chars.sort(key=lambda c: (-c["y0"], c["x0"]))
            sorted_chars = left_chars + right_chars
            
            # 拼接字符，处理换行（通过y坐标差判断是否换行）
            current_line = ""
            prev_y = None
            line_threshold = 2  # 可根据PDF行间距调整
            for c in sorted_chars:
                if prev_y and abs(c["y0"] - prev_y) > line_threshold:
                    full_text += current_line + "\n"
                    current_line = c["text"]
                else:
                    current_line += c["text"]
                prev_y = c["y0"]
            if current_line:
                full_text += current_line + "\n\n"
    return full_text

如果页面有表格，直接用page.extract_table()单独提取，再和普通文本拼接，避免表格内文本打乱顺序。

二、复杂布局通用处理逻辑 #

• 先分区域：多列、分栏PDF先计算每列的x范围，把文本块/字符分到对应区域，再在区域内按「从上到下、从左到右」排序。
• 动态调整阈值：不同PDF的行间距、字体大小不同，需要调整判断是否换行的y坐标差阈值，避免误换行或不换行。
• 扫描版PDF特殊处理：如果是扫描生成的PDF，先通过pdf2image转成图片，再用pytesseract做OCR提取文本，这类PDF本身没有文本对象，直接提取只会拿到乱码。

三、换行与编码问题解决 #

• 换行处理：
  • 文本块级：提取后用strip()去掉多余空格，再根据布局判断是否添加换行。
  • 字符级：通过相邻字符的y坐标差判断是否属于同一行，差超过阈值则换行。
• 编码问题：
  • 提取后保存文本时指定encoding="utf-8"。
  • 遇到乱码时，尝试PyMuPDF的page.get_text("text", flags=fitz.TEXTFLAGS_TEXT)，或pdfplumber默认提取逻辑，基本能覆盖中文、特殊字符场景。

四、避坑提醒 #

别用PyPDF2或pdfminer.six的默认文本提取，它们完全按PDF内部对象顺序输出，和视觉顺序无关，大概率混乱。

内容的提问来源于stack exchange，提问作者Phalgun