如何缩小AWS Lambda Layer部署随机森林模型的依赖包体积？

一、直接压缩现有依赖体积 #

• 清理冗余文件：安装依赖后，删除所有__pycache__文件夹、.pyc/.pyo编译文件，以及各个包的docs、tests、examples等非必要目录。可通过以下命令批量清理：

  find . -type d -name "__pycache__" -exec rm -rf {} +
  find . -name "*.pyc" -delete
  find . -name "*.pyo" -delete
  rm -rf */docs */tests */examples
  

• 改用Linux环境安装依赖：Lambda运行在Amazon Linux 2环境下，Windows安装的包会包含大量Windows适配文件。建议用Docker拉取amazonlinux:2镜像，在容器内完成依赖安装，得到的包体积会大幅缩小。示例命令：

  docker run -v $(pwd):/app amazonlinux:2 /bin/bash -c "
  yum install -y python3-pip
  pip3 install --target ./layer joblib==1.1.0 numpy==1.23.1 pandas==1.4.2 python-dateutil==2.8.2 pytz==2022.1 scikit-learn==1.1.1 scipy==1.9.0 six==1.16.0 threadpoolctl==3.1.0 tokenizers==0.12.1
  "
  

• 移除非必要依赖：检查tokenizers是否为随机森林推理必需，若不需要可直接删除；若推理无需处理DataFrame，可移除pandas进一步缩减体积。
• 降级依赖版本：尝试将scikit-learn降级到1.0.x系列、numpy降级到1.21.x系列，旧版本依赖包体积更小，且完全覆盖随机森林推理功能。

二、轻量级推理替代方案 #

• 转换为ONNX格式推理：使用sklearn-onnx将训练好的随机森林模型转换为ONNX格式，再用onnxruntime进行推理。onnxruntime安装体积远小于scikit-learn+scipy，且推理性能更优。转换示例代码：

  from skl2onnx import convert_sklearn
  from skl2onnx.common.data_types import FloatTensorType
  from sklearn.ensemble import RandomForestClassifier
  
  # 假设model是训练好的随机森林模型
  initial_type = [('float_input', FloatTensorType([None, 4]))]
  onnx_model = convert_sklearn(model, initial_types=initial_type)
  with open("rf_model.onnx", "wb") as f:
      f.write(onnx_model.SerializeToString())
  

  推理时仅需安装onnxruntime和numpy，依赖体积可控制在几十MB内。
• 替换为轻量级树模型：若允许重新训练，可使用lightgbm或xgboost的树模型替代scikit-learn随机森林，它们的推理依赖包体积更小，性能与随机森林相当。

三、其他优化策略 #

• 拆分Lambda Layer：将依赖拆分为多个Layer，比如一个Layer存放numpy+pandas，另一个存放scikit-learn+scipy，确保每个Layer体积不超过250MB。Lambda最多支持附加5个Layer，足以满足拆分需求。
• 改用Lambda容器镜像：若Layer拆分仍无法满足需求，可将代码和所有依赖打包成Docker镜像上传至ECR，Lambda容器镜像体积上限为10GB，完全适配大体积依赖场景。
• 模型文件单独存储：将训练好的模型文件上传至S3，Lambda函数启动时从S3下载模型到/tmp目录（Lambda临时目录有512MB空间），避免模型占用Layer体积。

内容的提问来源于stack exchange，提问作者palash