将TheBloke/Luna-AI-Llama2-Uncensored-GGML部署至SageMaker遇故障求助

核心端点部署失败（UnexpectedStatusException） #

原因分析 #

CloudWatch日志里的_pickling.UnpicklingError: could not find MARK和DownloadError指向两个关键问题：

• 你使用的GGML格式模型与SageMaker官方TGI（Text Generation Inference）容器不兼容，TGI默认仅支持Transformers标准格式模型，不支持GGML量化格式；
• 模型文件在下载过程中损坏，导致反序列化加载时出错。

解决步骤 #

• 更换适配模型：改用TheBloke提供的Transformers格式版本，比如TheBloke/Luna-AI-Llama2-Uncensored-HF，该格式直接兼容SageMaker TGI容器；
• 若坚持使用GGML模型：需自定义基于llama.cpp的推理容器，替换官方TGI容器，确保容器支持GGML格式解析；
• 重新部署：更换模型或容器后，确认IAM角色拥有Hugging Face Hub和S3的访问权限，再重新执行部署代码。

pip依赖冲突问题 #

直接执行以下命令降级tornado到符合要求的版本：

pip install tornado==6.2

如果是部署脚本中的依赖，建议在requirements.txt中锁定版本：

tornado>=6.0.3,<6.3
distributed==2022.7.0

pip root用户运行警告 #

在Notebook中创建并激活虚拟环境，后续所有依赖安装都在虚拟环境内执行：

python -m venv sagemaker-env
source sagemaker-env/bin/activate

内容的提问来源于stack exchange，提问作者Royi Bernthal