如何在SageMaker MXNet 1.4.1镜像推理场景下安装外部库？

首先明确说：不推荐在推理脚本的每次请求处理中执行pip install——这会导致首次推理请求极慢，多个实例重复安装浪费资源，还可能引发权限冲突或依赖版本不一致的问题，严重影响推理服务的稳定性和性能。

下面是几种更靠谱的方案，按推荐优先级排序：

1. 自定义Docker镜像（生产环境首选） #

既然官方MXNet 1.4.1的推理镜像不支持requirements.txt，我们可以基于官方镜像扩展，提前把依赖安装好，再推送到ECR供SageMaker使用。

举个简单的Dockerfile示例：

# 基于官方MXNet 1.4.1 CPU推理镜像（如果用GPU，替换成对应的GPU镜像标签）
FROM 763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.4.1-cpu-py36-ubuntu16.04

# 安装你需要的外部库，指定版本避免兼容性问题
RUN pip install pandas==1.1.5 scikit-learn==0.24.2

# 把你的自定义推理脚本复制到镜像的默认代码目录
COPY inference.py /opt/ml/model/code/

接下来的步骤：

• 构建镜像：docker build -t mxnet-1.4.1-custom .
• 把镜像推送到你的ECR仓库（需要先配置AWS CLI权限）
• 创建MxnetModel时，通过image_uri参数指定你自定义的镜像地址，同时正常指定入口脚本和模型数据即可。

这种方式的优势是依赖提前安装，推理服务启动后直接可用，性能和稳定性拉满，完全适配生产场景。

2. 在推理脚本初始化阶段一次性安装依赖（测试/快速验证用） #

如果不想折腾Docker，也可以在推理脚本的初始化环节（仅执行一次）安装依赖，避免每次请求都重复执行。

示例代码：

import subprocess
import sys

# 先尝试导入依赖，失败再安装
try:
    import pandas
except ImportError:
    # 安装指定版本的依赖，可加--user参数避免全局权限问题
    subprocess.check_call([sys.executable, "-m", "pip", "install", "--user", "pandas==1.1.5"])
    # 安装后重新导入
    import pandas

def model_fn(model_dir):
    # 这里加载你的MXNet模型
    ...

def predict_fn(input_data, model):
    # 推理逻辑
    ...

注意：这种方式的缺点是首次启动推理服务或实例扩容时，第一个请求会等待依赖安装完成，耗时较长；另外如果依赖包很大，会增加实例启动时间。仅适合快速测试或低流量场景。

3. 打包本地依赖到模型归档（无网络环境可选） #

如果你的SageMaker环境无法联网，可以提前下载依赖的.whl文件，和模型、推理脚本一起打包成归档文件，然后在脚本中安装本地依赖。

步骤如下：

1. 下载对应系统的依赖包（SageMaker镜像用Ubuntu，所以要下载Linux版本的whl）：

   pip download pandas==1.1.5 -d ./deps
   

2. 把deps文件夹、推理脚本inference.py、模型文件一起打包：

   tar -czf model.tar.gz inference.py model/ deps/
   

3. 在推理脚本中安装本地依赖：

   import subprocess
   import sys
   import os
   
   # 获取模型目录路径
   model_dir = os.environ['MODEL_DIR']
   deps_path = os.path.join(model_dir, 'deps')
   
   # 从本地安装依赖，不联网
   subprocess.check_call([
       sys.executable, "-m", "pip", "install",
       "--no-index", "--find-links", deps_path,
       "pandas"
   ])
   

这种方式的优势是不需要联网，依赖版本完全可控，但会增大模型归档文件的体积，需要提前处理好依赖的系统兼容性。

内容的提问来源于stack exchange，提问作者Antoine