AWS SageMaker多模型端点部署：额外依赖模块缺失问题求助

核心问题排查与解决办法 #

1. 多模型端点的依赖安装逻辑差异 #

HuggingFace单模型端点会自动执行requirements.txt，但多模型端点默认不会自动安装依赖——因为多模型共享同一个容器实例，得手动在代码里触发安装逻辑。

直接在inference.py的model_fn函数里加这段代码：

import subprocess
import sys
import os

def model_fn(model_dir):
    # 加载code目录下的共享依赖
    req_path = os.path.join(os.environ.get("SAGEMAKER_CODE_DIR", "/opt/ml/code"), "requirements.txt")
    if os.path.exists(req_path):
        subprocess.check_call([sys.executable, "-m", "pip", "install", "-r", req_path])
    
    # 如果每个模型有独立依赖，可检测模型目录下的requirements.txt
    model_req_path = os.path.join(model_dir, "requirements.txt")
    if os.path.exists(model_req_path):
        subprocess.check_call([sys.executable, "-m", "pip", "install", "-r", model_req_path])
    
    # 这里写你的模型加载逻辑
    # ...

注：首次加载模型会触发安装，冷启动时间会变长，通用依赖可以提前预装到自定义镜像里，只动态装模型特有依赖。

2. 权限问题导致依赖无法写入 #

默认容器的pip install可能没权限写入系统Python路径，加--user参数安装到用户目录，同时确保代码能找到这个路径：

# 修改安装命令
subprocess.check_call([sys.executable, "-m", "pip", "install", "--user", "-r", req_path])

# 在inference.py开头添加路径配置
import site
import sys
sys.path.insert(0, site.getusersitepackages())

3. 检查工件压缩结构是否合规 #

多模型端点的主工件（比如model.tar.gz）必须严格遵循以下结构：

model.tar.gz/
└── code/
    ├── inference.py
    └── requirements.txt

每个单独的模型要打包成独立的.tar.gz，上传到S3的模型存储路径，和主工件分开存放。

4. 验证依赖与Python版本兼容 #

你用的镜像基于Python 3.10，要确保requirements.txt里的依赖包支持这个版本，比如某些旧版包不兼容3.10，得指定兼容的版本号。

5. 查日志定位具体错误 #

去CloudWatch的/aws/sagemaker/Endpoints/<你的端点名称>日志组里，找container相关日志，搜索pip install关键词，看依赖有没有被触发安装、有没有安装失败的具体报错（比如网络问题、包不存在）。

内容的提问来源于stack exchange，提问作者Lucas