使用PDFQuery将PDF转XML时数据丢失的问题求助

结合你提供的PDF相关部分截图（包含'HOLD - VD - MEP'等目标内容），针对XML转换丢失部分数据、后续提取失效的问题，给出以下排查和解决思路：

核心问题排查方向 #

1. 布局分析参数未适配PDF排版 #

PDFQuery依赖PyPDF2的布局分析器，默认参数可能无法识别紧凑排版、特殊字体或非标准布局的文本。通过自定义laparams参数优化文本提取规则：

修改XML转换代码：

import pdfquery

# 自定义布局分析参数，强制提取所有文本并启用垂直文本检测
pdf = pdfquery.PDFQuery("holdlines1.pdf", 
                        laparams={"detect_vertical": True, 
                                  "all_texts": True})
pdf.load()
pdf.tree.write("holdlines1.xml", pretty_print=True)

• detect_vertical: 适配可能存在的垂直排版文本
• all_texts: 避免默认规则忽略小文本块或零散字符

2. 文本被拆分为细粒度LT元素 #

部分PDF会将完整文本拆分为多个LTChar或小LTTextLineHorizontal元素，导致XML中看似“丢失”数据，实际是分散存储。可以通过合并同一区域内的文本元素来提取完整内容：

新增文本合并工具函数：

def merge_bbox_text(pdf, bbox_str):
    # 获取指定bbox内所有文本元素并拼接
    text_elements = pdf.pq(f'LTTextLineHorizontal:in_bbox("{bbox_str}")')
    return ' '.join([elem.text for elem in text_elements if elem.text])

在你的提取函数中替换原查询逻辑：

# 示例替换l1的提取
l1.append(merge_bbox_text(pdf, "1888.8, 42.229, 1911.238, 58.129"))

3. 提取代码的跨页面匹配问题 #

当前代码中，所有bbox查询都是针对整个文档，而非目标页码，可能导致匹配到其他页面的无效数据，同时遗漏当前页面的内容。修改为限定当前页面查询：

def loader(x):
    pdf = pdfquery.PDFQuery("holdlines1.pdf")
    pdf.load(x)
    l1,l2,l3,l4,l5,l6,l7 = ([] for _ in range(7))

    # 锁定当前页面的元素
    current_page = pdf.pq(f"LTPage[pageid='{x}']")
    
    for text_line in current_page.find("LTTextLineHorizontal"):
        line_text = pdf.pq(text_line).text()
        print(line_text)
        if "HOLD" in line_text:
            # 仅在当前页面内查询指定bbox
            l1.append(current_page.find('LTTextLineHorizontal:in_bbox("1888.8, 42.229, 1911.238, 58.129")').text())
            l2.append(line_text)
            l3.append(current_page.find('LTTextLineHorizontal:in_bbox("1544.88, 49.873, 1586.476, 62.548")').text())
            l4.append(current_page.find('LTTextLineHorizontal:in_bbox("1654.32, 42.229, 1676.758, 58.129")').text())
            l5.append(current_page.find('LTTextLineHorizontal:in_bbox("1710.48, 42.151, 1719.247, 59.551")').text())
            l6.append(current_page.find('LTTextLineHorizontal:in_bbox("1770.24, 42.229, 1836.362, 58.129")').text())
            l7.append(current_page.find('LTTextLineHorizontal:in_bbox("1941.84, 40.209, 1963.871, 59.979")').text())

    return l1,l2,l3,l4,l5,l6,l7

4. 依赖版本或后端问题 #

旧版本PDFQuery或PyPDF2存在文本提取bug，先升级依赖：

pip install --upgrade pdfquery pypdf2

如果问题依旧，尝试切换到Poppler后端（需提前安装Poppler工具）：

pdf = pdfquery.PDFQuery("holdlines1.pdf", backend="poppler")

额外验证步骤 #

• 打开生成的XML文件，搜索丢失数据的关键词，查看是否存在被标记为LTChar而非LTTextLineHorizontal的零散字符
• 检查PDF是否有加密权限限制，或目标内容是嵌入图片的扫描件（扫描件需用OCR工具如PyTesseract处理）

内容的提问来源于stack exchange，提问作者Priyanshu Lahiri