如何在AWS SageMaker端点通过一次调用完成模型微调与推理？

核心思路：自定义容器实现端点内模型更新与推理 #

SageMaker默认端点仅支持推理，但你可以通过自定义推理容器，把模型校准（小批量权重更新）和推理逻辑整合到同一个端点调用流程里，无需反复创建/删除端点。具体操作如下：

• 打包自定义推理代码：在容器中加载预训练模型，接收请求里的校准数据和测试数据，先在校准数据上执行少量参数更新（比如用SGD/Adam跑几轮微调，或采用LoRA这类轻量级低秩更新方法），再用更新后的模型处理测试数据，最后返回推理结果。
• 部署自定义容器到SageMaker端点：将包含预训练模型、推理代码的容器推送至ECR，再创建SageMaker端点。该端点可同时处理多用户请求，每个请求的校准、推理过程相互独立，不会互相干扰。

关键注意事项 #

• 资源隔离：多用户请求并发时，要确保每个请求的模型更新独立——可在内存中为每个请求加载一份模型副本，或用线程/进程隔离机制，避免不同用户的校准数据互相污染。
• 性能优化：预训练模型加载到内存后，每次请求仅做少量参数更新，速度远快于重新创建端点。若模型体积较大，可考虑只更新最后几层，或用LoRA更新低秩矩阵，减少单次请求的耗时。
• 状态管理：无需持久化更新后的模型权重（除非后续需要复用），因为每个用户的校准是一次性操作，推理完成后即可丢弃临时更新的权重，节省存储资源。

替代方案：SageMaker异步推理+模型缓存 #

如果自定义容器开发成本较高，也可采用SageMaker异步推理：

• 将用户的校准数据和测试数据打包成请求发送至异步端点，端点内的推理代码完成校准、推理后返回结果。
• 可在端点实例上缓存预训练模型，每个请求进来后加载副本执行校准，避免重复加载模型的开销。

与你当前方案的对比 #

创建临时端点的方式虽可行，但成本高、延迟大——每次创建端点需要启动实例、加载模型，耗时通常在几分钟级别，完全不适合实时处理多用户请求。而自定义端点的方法可将单次请求延迟控制在秒级，且支持高并发处理。

内容的提问来源于stack exchange，提问作者athanzxyt