如何在AWS Lambda容器中正确嵌入Transformer模型以加速冷启动？

一、避开/tmp目录，使用容器非临时路径存放模型 #

Lambda冷启动前会自动清空/tmp目录，所以绝对不能把模型放在这里。建议将模型复制到容器的固定目录，比如/opt/model：

# 从本地复制预下载的模型到容器非临时目录
COPY ./your-local-model-folder /opt/model

二、正确配置环境变量与代码加载路径 #

直接指定HuggingFace的缓存路径为模型存放目录，同时代码加载模型时明确指向该路径，避免依赖自动缓存查找：

1. Dockerfile中设置环境变量：

ENV TRANSFORMERS_CACHE=/opt/model
ENV HF_HOME=/opt/model

2. 函数代码中加载模型时强制使用本地文件，禁用远程下载：

from transformers import AutoModel
# 明确指定模型路径，同时设置local_files_only避免触发远程检查
model = AutoModel.from_pretrained("/opt/model", local_files_only=True)

三、修复缓存目录写入错误 #

Lambda执行用户默认对非临时目录没有写入权限，需在Dockerfile中设置目录权限：

# 赋予模型目录可读权限，避免初始化时写入报错
RUN chmod -R 755 /opt/model

同时代码中禁用任何模型目录的写入操作，比如关闭自动更新、缓存清理等逻辑。

四、预初始化模型减少冷启动操作 #

在容器构建阶段提前完成模型初始化，避免冷启动时重复执行：

1. 创建初始化脚本init_model.py：

from transformers import AutoModel
import torch

# 加载模型并序列化预初始化状态
model = AutoModel.from_pretrained("/opt/model", local_files_only=True)
torch.save(model.state_dict(), "/opt/model/pre_init_state.pt")

2. Dockerfile中加入预初始化步骤：

RUN python init_model.py

3. 函数代码直接加载预初始化状态：

from transformers import AutoModel
import torch

model = AutoModel.from_pretrained("/opt/model", local_files_only=True)
model.load_state_dict(torch.load("/opt/model/pre_init_state.pt"))

五、额外优化点 #

• 使用轻量基础镜像（如Python slim、Amazon Linux 2 minimal），减少镜像体积加快启动；
• 安装依赖时使用pip install --no-cache-dir，避免冗余缓存；
• 禁用HuggingFace日志输出，减少初始化时的额外操作：

import transformers
transformers.logging.set_verbosity_error()

内容的提问来源于stack exchange，提问作者AlwaysLearning