Python：PDF转文本CPU占用过高，AWS部署Flask应用卡顿求助

一、单文件处理优化 #

• 优先用PyMuPDF(fitz)：这是目前性能最优的PDF处理库之一，解析大文件时CPU效率比其他库更高，记得用最新版本，避开旧版本的性能坑。
• 分块处理PDF：别一次性加载整个PDF到内存，按页码范围分块读取转换，比如每次处理10-20页，处理完就释放内存，降低单进程的CPU持续负载。
• 关闭冗余解析选项：不需要提取图片、注释的时候，初始化解析器就禁用这些功能，减少不必要的CPU计算。比如用PyMuPDF时只做文本提取，不处理其他元素。

二、Flask后端的并行控制 #

• 限制并发请求数：1vCPU实例扛不住太多并行请求，用flask-limiter设置每秒请求上限，比如限制2-3个并发，避免CPU直接被占满导致服务挂起。
• 改用异步任务队列：把PDF转换任务丢到后台队列，比如用Celery搭配Redis或RabbitMQ，Flask只负责收请求、存队列、返回任务ID，后台只开1个Worker进程（适配1vCPU）处理任务，这样前端不会阻塞，服务器也不会被并行请求拖垮。
• 避免无效并行：Python的GIL会让多线程处理CPU密集型任务无法真正并行，反而增加调度开销，建议用单进程单线程处理任务，或者用multiprocessing但严格把进程数设为1，别在1vCPU上搞多进程抢资源。

三、AWS实例配置调整 #

• 临时升级实例规格：如果业务量不小，临时升到2vCPU的实例（比如t3.small），CPU资源翻倍后，并行处理的压力会明显降低，成本增加不多。
• 加CPU监控：用CloudWatch监控实例CPU使用率，设80%的告警阈值，CPU持续高负载时及时收到告警，调整处理策略。

四、额外优化技巧 #

• 区分PDF类型：如果是扫描件（图片型PDF），别直接用文本提取库处理，先转成可搜索PDF（用Tesseract加pdf2image），但这个过程耗CPU，建议放到离线预处理环节，别在线处理。
• 缓存转换结果：同一个PDF多次请求转换的话，把转换后的文本存到Redis或数据库，下次请求直接返回缓存，避免重复耗CPU。

内容的提问来源于stack exchange，提问作者Aravind