如何在Amazon Sagemaker Processing Job中安装Python依赖包

AI 小北

2026-9-23

解决方案

方法1：搭配requirements.txt自动安装（推荐）

该方法无需修改任务提交逻辑，仅需调整本地代码目录结构和预处理脚本，即可完成依赖自动安装：

在preprocessing.py所在的本地目录下新增requirements.txt，写入需要的依赖包及版本，示例内容如下：

snowflake-connector-python==3.7.0
# 其余需要的依赖包

修改preprocessing.py，在导入第三方依赖的代码前，新增依赖安装逻辑：

import os
import subprocess
import sys

def install_dependencies():
    req_path = "/opt/ml/processing/input/code/requirements.txt"
    if os.path.exists(req_path):
        subprocess.check_call([
            sys.executable, "-m", "pip", 
            "install", "-r", req_path, "--quiet"
        ])

install_dependencies()

# 后续再导入业务所需的第三方包
import snowflake.connector
# 其余你的预处理逻辑

调用SKLearnProcessor提交任务时，指定source_dir参数为上述本地目录的路径，code参数直接填写preprocessing.py即可，SDK会自动将整个目录内容上传到处理容器的对应路径下。

方法2：单脚本直接安装（适合依赖较少的场景）

如果仅需安装1-2个依赖，无需单独维护requirements.txt，可以直接在预处理脚本开头安装指定包：

import subprocess
import sys

# 直接安装所需依赖
subprocess.check_call([
    sys.executable, "-m", "pip", 
    "install", "snowflake-connector-python", "--quiet"
])

import snowflake.connector
# 其余你的预处理逻辑