如何查询SageMaker JumpStart创建的LLM Endpoint所用Docker镜像?
获取SageMaker JumpStart终端节点使用的Docker镜像方法
方法1:通过SageMaker控制台查看
- 打开SageMaker控制台,找到你创建终端节点时关联的**模型(Model)**资源
- 进入模型详情页,在「容器」模块下可以直接看到使用的Docker镜像URI
方法2:使用AWS CLI查询
执行以下命令,替换YOUR_MODEL_NAME为你的模型名称,YOUR_REGION为实际区域(比如us-east-1):
aws sagemaker describe-model --model-name YOUR_MODEL_NAME --region YOUR_REGION
在返回的JSON结果中,Containers[0].Image字段的值就是目标Docker镜像的URI
方法3:通过JumpStart模型元数据参考
从你提供的aws-jumpstart-inference-model-uri可以看出这是Llama 2-7B的推理模型,JumpStart对应这类模型的标准镜像格式大致为:
763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-tgi-inference:2.0.0-tgi1.0.0-gpu-py39-cu118-ubuntu20.04
但建议优先使用前两种方法获取准确的镜像URI,避免版本差异导致问题
内容的提问来源于stack exchange,提问作者Arrmlet
相关产品推荐
相关产品推荐

