自定义深度学习模型部署：EC2与AWS SageMaker方案对比及部署指引

一、EC2（搭配Auto Scaling+负载均衡）与SageMaker部署的成本及最佳实践对比 #

成本对比 #

• EC2方案：成本由三部分构成——EC2实例费用（g4dn.4xlarge按需/预留/Spot实例定价）、负载均衡（ALB）的流量/规则费用，Auto Scaling本身免费。如果采用Spot实例，能大幅降低成本，但需要自行处理实例中断逻辑。
• SageMaker方案：费用包含端点实例费用（同规格下略高于纯EC2，但差距不大）、推理请求费用（按请求数或数据量计费）。SageMaker自带流量分发与Auto Scaling能力，无需额外支付ALB费用。

最佳实践场景 #

• 选择EC2的情况：已有成熟运维团队，能高效管理EC2、ASG、ALB；需要完全自定义部署环境（如特殊操作系统、第三方服务深度集成）；追求极致成本控制（比如大规模调度Spot实例）。
• 选择SageMaker的情况：作为ML新手，SageMaker是更贴合机器学习场景的托管服务，无需自行搭建和维护负载均衡、扩缩容逻辑；自带模型监控、A/B测试、推理管道集成能力；与S3、Glue等AWS ML生态服务集成更顺畅，适合专注于模型迭代而非基础设施管理的场景，长期来看是机器学习部署的最佳实践。

二、快速将训练好的模型部署到SageMaker创建端点 #

步骤1：准备模型文件 #

将训练好的模型文件（如PyTorch的.pt、TensorFlow的saved_model格式）打包为.tar.gz压缩包，上传到AWS S3桶，可使用AWS CLI命令完成：

aws s3 cp ./your-model-package.tar.gz s3://your-bucket/path/to/model-store/

步骤2：创建SageMaker模型 #

1. 登录SageMaker控制台，进入「模型」页面，点击「创建模型」；
2. 填写模型名称，选择具备S3访问、端点操作权限的IAM角色；
3. 容器配置选择「使用预构建的SageMaker容器」，匹配你训练时的框架（如PyTorch/TensorFlow）及版本，输入S3中模型包的路径；
4. 确认信息后完成模型创建。

步骤3：创建端点配置 #

1. 进入「端点配置」页面，点击「创建端点配置」；
2. 填写配置名称，添加已创建的模型，实例类型选择ml.g4dn.4xlarge，设置初始实例数及Auto Scaling策略（如基于GPU利用率或请求数）；
3. 完成配置创建。

步骤4：创建推理端点 #

1. 进入「端点」页面，点击「创建端点」；
2. 填写端点名称，选择已创建的端点配置，点击「创建」；
3. 等待数分钟，端点状态变为「InService」即可开始使用。

可选：用Python SDK（boto3）快速部署 #

import boto3

sagemaker_client = boto3.client('sagemaker')

# 创建模型
sagemaker_client.create_model(
    ModelName="custom-gpu-model",
    ExecutionRoleArn="arn:aws:iam::你的账号ID:role/你的SageMaker角色",
    PrimaryContainer={
        "Image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:2.0.0-gpu-py310",
        "ModelDataUrl": "s3://your-bucket/path/to/your-model-package.tar.gz"
    }
)

# 创建端点配置
sagemaker_client.create_endpoint_config(
    EndpointConfigName="gpu-model-endpoint-config",
    ProductionVariants=[
        {
            "VariantName": "primary",
            "ModelName": "custom-gpu-model",
            "InstanceType": "ml.g4dn.4xlarge",
            "InitialInstanceCount": 1
        }
    ]
)

# 创建端点
sagemaker_client.create_endpoint(
    EndpointName="gpu-model-inference-endpoint",
    EndpointConfigName="gpu-model-endpoint-config"
)

内容的提问来源于stack exchange，提问作者Imran_Burki