在AWS SageMaker部署mosaicml/mpt-7b-chat模型遇信任代码错误求助

MPT系列模型依赖自定义代码实现架构，部署时必须显式开启trust_remote_code=True，同时要确保依赖库齐全，以下是具体步骤：

1. 准备依赖配置文件 #

创建requirements.txt，添加模型运行所需的依赖：

transformers>=4.28.1
torch>=2.0.0
accelerate>=0.18.0
einops>=0.6.1
# 如需量化优化，添加这一行：bitsandbytes>=0.39.0

2. 修改SageMaker部署代码 #

在初始化HuggingFaceModel时，将trust_remote_code=True加入model_args，并指定依赖文件路径：

from sagemaker.huggingface import HuggingFaceModel
import sagemaker

# 获取SageMaker执行角色
role = sagemaker.get_execution_role()

# 模型核心配置
model_args = {
    "model_name_or_path": "mosaicml/mpt-7b-chat",
    "trust_remote_code": True,  # 必须开启，加载模型自定义架构代码
    "max_new_tokens": 512,
    "temperature": 0.7
    # 如需8bit量化，添加："load_in_8bit": True
}

# 初始化模型实例
huggingface_model = HuggingFaceModel(
    model_data=None,  # 直接从HuggingFace Hub拉取模型
    transformers_version="4.28.1",
    pytorch_version="2.0.0",
    py_version="py310",
    role=role,
    model_args=model_args,
    requirements_file="requirements.txt"  # 加载依赖配置
)

# 部署到SageMaker端点
predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.g5.2xlarge"  # 推荐使用该实例，显存满足FP16运行需求；量化可尝试ml.g5.xlarge
)

3. 测试模型调用 #

使用标准格式调用predict方法：

# 测试对话请求
response = predictor.predict({
    "inputs": "你好，请介绍一下你自己",
    "parameters": {
        "max_new_tokens": 200,
        "temperature": 0.5
    }
})

print(response[0]["generated_text"])

关键注意事项 #

• 实例选择：MPT-7B的FP16版本需要至少16GB显存，ml.g5.2xlarge是最低适配实例；如果启用8bit量化，可使用ml.g5.xlarge或更小的实例。
• 自定义代码信任：trust_remote_code=True是必须项，因为MPT模型的架构定义不在transformers内置库中，需要从模型仓库加载自定义代码。
• 版本匹配：确保transformers、torch的版本与requirements.txt中指定的一致，避免兼容性问题。

内容的提问来源于stack exchange，提问作者Bouji