关于AWS S3中MultiDataModel更新模型的缓存读取问题

默认行为说明 #

SageMaker多模型端点的LRU缓存机制不会主动检测S3上的模型文件是否更新。一旦模型被加载到缓存中，即使S3上的同名模型文件被覆盖、版本变更，系统也不会自动重新从S3读取新模型，只会继续使用缓存中的旧版本，直到该模型被LRU策略从缓存中驱逐。

可行解决方案 #

• 使用版本化的模型命名：在S3存储模型时，给文件加上版本标识（如model-v1.tar.gz、model-v2.tar.gz）。当模型更新后，直接在请求SageMaker端点时指定新版本的模型路径，此时缓存中没有该版本的模型，会自动从S3加载新模型；旧版本模型会在缓存空间不足时被LRU替换。这种方式无需额外代码，是最简单的版本管理方案。
• 自定义模型加载逻辑：基于SageMaker的多模型容器自定义镜像，在模型加载前增加校验步骤——比如获取S3模型文件的ETag或最后修改时间，与本地缓存的记录对比，若不一致则重新下载最新模型。这种方式需要具备容器镜像构建能力，但能实现同名模型的自动更新。
• Lambda+数据库版本管理：用数据库（如DynamoDB）维护每个模型的最新版本信息：
  • 当S3中的模型更新时，通过S3事件通知触发Lambda，更新数据库中的对应模型版本记录；
  • 业务请求先通过Lambda查询数据库获取最新模型的路径/版本，再调用SageMaker端点指定该版本。
    这种方案适合需要集中管控所有模型版本、且业务逻辑依赖版本追踪的场景。

内容的提问来源于stack exchange，提问作者Nikolai Kl