Python异步读取PDF：基于pdfminer的异步文本提取问题求助

问题根源 #

1. pdfminer的所有核心API（包括PDFPage.get_pages）均为同步实现，不支持异步迭代器。
2. aiofiles返回的是异步文件对象，无法直接传入pdfminer的同步方法；你自定义的extract_pages是普通生成器，并非异步生成器，因此async for会抛出类型错误。

可行解决方案 #

方案1：线程池隔离同步逻辑（推荐大文件） #

利用asyncio.to_thread将pdfminer的同步操作放到线程池执行，避免阻塞异步事件循环：

import asyncio
from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer

async def async_extract_pages(pdf_filename):
    # 定义同步提取逻辑
    def sync_extract():
        with open(pdf_filename, 'rb') as file:
            return list(extract_pages(file))
    
    # 在线程池执行同步任务
    pages = await asyncio.to_thread(sync_extract)
    for page in pages:
        yield page

# 测试示例
async def main():
    async for page in async_extract_pages("sample.pdf"):
        # 提取页面文本
        page_text = ""
        for element in page:
            if isinstance(element, LTTextContainer):
                page_text += element.get_text()
        print(page_text)

asyncio.run(main())

方案2：异步读入文件到内存（适合小文件） #

先通过aiofiles异步读取整个PDF内容，再用BytesIO包装成同步文件对象传给pdfminer：

import asyncio
import aiofiles
from io import BytesIO
from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer

async def async_extract_pages(pdf_filename):
    async with aiofiles.open(pdf_filename, 'rb') as file:
        pdf_bytes = await file.read()
    
    # 用BytesIO模拟同步文件对象
    with BytesIO(pdf_bytes) as sync_file:
        for page in extract_pages(sync_file):
            yield page

# 测试示例
async def main():
    async for page in async_extract_pages("sample.pdf"):
        page_text = "".join([elem.get_text() for elem in page if isinstance(elem, LTTextContainer)])
        print(page_text)

asyncio.run(main())

关键说明 #

• 禁止直接在异步函数中调用pdfminer的同步生成器，这会阻塞整个异步事件循环，失去异步模式的意义。
• 两种方案均实现了"异步触发+同步处理"的兼容模式，既利用aiofiles的异步文件IO特性，又适配pdfminer的同步API。

内容的提问来源于stack exchange，提问作者Quentin