多线程环境下pytesseract image_to_string处理扫描PDF性能变慢求助

pytesseract本质是调用Tesseract OCR的命令行工具，多线程无限制并发时，会因系统CPU、内存资源竞争导致速度骤降，以下是经过验证的解决方案：

1. 控制并发数，使用线程池/进程池 #

CPU密集型的OCR任务，过多线程会带来大量上下文切换开销，建议根据CPU核心数设置并发数（通常为核心数的1-2倍），用线程池或进程池统一管理：

线程池示例（适合轻量任务） #

import concurrent.futures
import pytesseract
from pdf2image import convert_from_path

def process_single_pdf(pdf_path):
    # 先把PDF转成图片
    pages = convert_from_path(pdf_path)
    full_text = ""
    for page in pages:
        # 调用OCR，指定语言和优化参数
        full_text += pytesseract.image_to_string(page, lang='chi_sim', config='--psm 6')
    return full_text

if __name__ == "__main__":
    pdf_list = ["doc1.pdf", "doc2.pdf", "doc3.pdf"]
    # 按CPU核心数设置max_workers，比如4核设为4
    with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
        results = list(executor.map(process_single_pdf, pdf_list))

进程池示例（适合大量CPU密集任务） #

由于Python GIL的限制，CPU密集型任务用进程池能更充分利用多核CPU：

import concurrent.futures
import pytesseract
from pdf2image import convert_from_path

def process_single_pdf(pdf_path):
    pages = convert_from_path(pdf_path)
    full_text = ""
    for page in pages:
        full_text += pytesseract.image_to_string(page, lang='chi_sim', config='--psm 6')
    return full_text

if __name__ == "__main__":
    pdf_list = ["doc1.pdf", "doc2.pdf", "doc3.pdf"]
    with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:
        results = list(executor.map(process_single_pdf, pdf_list))

2. 优化Tesseract运行参数 #

减少不必要的计算步骤，提升单任务处理速度：

• 指定精确的语言（如lang='chi_sim'），避免默认加载多语言包
• 设置页面分割模式（如--psm 6，假设文本为单一均匀块，减少分析时间）
• 选择合适的OCR引擎模式（如--oem 3，组合传统和LSTM引擎，兼顾速度和准确率）

3. 拆分PDF处理流程 #

将PDF转图片和OCR两个阶段分开：

1. 先批量把所有PDF转换为图片文件，存储到本地SSD（减少IO延迟）
2. 再用多线程/进程池处理图片的OCR任务
   这样能避免两个高资源消耗的步骤同时竞争系统资源

4. 系统层面优化 #

• 关闭后台占用CPU、内存的无关程序，保证Tesseract有足够资源
• 将Tesseract的临时缓存目录设置到SSD，提升文件读写速度
• Linux系统可通过nice命令调整Tesseract进程优先级，优先分配资源

内容的提问来源于stack exchange，提问作者Raghu