SageMaker调优步骤中SKLearn容器无法安装dill模块求助

针对你遇到的ModuleNotFoundError: no module named 'dill'问题，以下是几个可行的排查和解决步骤：

• 确认requirements.txt的有效性

  1. 检查custom-model-sklearn/src/目录下的requirements.txt，确保文件内明确包含dill（可指定版本如dill==0.3.7，避免版本兼容问题）。
  2. 验证本地目录结构是否正确，打包上传SageMaker时，确认requirements.txt被包含在代码包中——SageMaker脚本模式下会自动读取source_dir下的requirements.txt安装依赖，但如果文件遗漏会导致安装失败。

• 在train.py中添加手动安装逻辑（兜底方案）
  若容器自动安装依赖失效，可在train.py开头加入手动安装代码，确保dill被安装：

  import subprocess
  import sys
  
  def install(package):
      subprocess.check_call([sys.executable, "-m", "pip", "install", package])
  
  try:
      import dill
  except ImportError:
      install("dill")
      import dill
  

• 检查SageMaker角色权限
  迁移账号后，新的SageMaker执行角色可能存在权限缺失：

  1. 确保角色拥有s3:GetObject权限，能够读取source_dir对应的S3路径下的所有文件。
  2. 若使用VPC环境，检查VPC端点配置或出站网络规则，确保容器能够访问PyPI（默认公网环境无需额外配置，但私有网络需确认连通性）。

• 验证代码包上传完整性
  前往SageMaker控制台，查看对应训练job的输入数据详情，确认requirements.txt存在于S3的代码包中。也可以手动将src目录打包为zip文件上传到指定S3路径，再在estimator中指定该路径作为source_dir。

• 升级SKLearn框架版本（可选）
  当前使用的framework_version="1.0-1"版本较旧，可能存在脚本模式依赖安装的已知问题。尝试升级到更高稳定版本，比如：

  framework_version="1.2-1",
  py_version="py310"
  

  新版本容器对脚本模式的依赖处理逻辑更完善。

内容的提问来源于stack exchange，提问作者Ron Fisher