PaddleOCR Slim模型在AWS SageMaker中无法正常运行的原因排查

• 未配置Slim模型专属推理优化：Slim模型经过量化/蒸馏压缩，必须开启对应优化才能发挥性能。比如PaddleOCR的量化Slim模型需要在推理时启用MKLDNN加速或指定量化推理模式，若未配置，CPU会以非优化逻辑处理压缩结构，计算效率骤降甚至阻塞，最终超时。
• PyTorch容器与Paddle的依赖冲突：你使用的PyTorch推理容器中，Paddle与PyTorch底层的计算优化库（如MKL、OpenBLAS）存在冲突。常规模型对冲突的容忍度较高，而Slim模型的压缩结构对计算优化依赖更强，冲突直接导致CPU计算效率暴跌，触发超时。
• Slim模型部署包文件缺失：打包部署时可能遗漏了Slim模型的关键附属文件（如量化配置、infer_cfg.yml推理配置）。缺失这些文件会让模型加载后出现隐性的无效计算或循环等待，推理时间被大幅拉长至超时。
• 实例资源触发swap瓶颈：ml.t2.medium实例的CPU和内存资源有限，若Slim模型因未优化的内存访问逻辑导致内存占用异常，会触发磁盘swap操作。t2实例的磁盘IO性能差，swap会让推理速度急剧下降，最终超过60秒超时阈值。

内容的提问来源于stack exchange，提问作者Alcibiades