AWS Lambda使用scikit-learn遇包过大问题求解决方案

你的层拆分方案失效原因 #

你把函数转成层的思路有误：Lambda 层的核心是提供依赖包的正确目录结构，而非直接复用函数代码。Python 层要求依赖包必须放在 python/lib/pythonX.X/site-packages/ 目录下（X.X 对应 Lambda 使用的 Python 版本），否则 Lambda 运行时无法识别依赖。你直接把函数代码作为层导入，本质上只是引入了其他函数的 handler，并没有正确加载 scikit-learn 依赖。

另外，主函数代码里直接导入 sklearn.feature_extraction.text.TfidfVectorizer，但如果层内 scikit-learn 的目录结构不正确，运行时必然会抛出导入错误。

正确制作 scikit-learn 层的步骤 #

推荐用 Docker 构建适配 Lambda 环境的 scikit-learn 包，避免本地环境与 Lambda 的 Amazon Linux 环境不兼容：

1. 拉取 Lambda 官方 Python 镜像（以 Python 3.9 为例）：

   docker pull public.ecr.aws/lambda/python:3.9
   

2. 运行容器并安装 scikit-learn 到指定目录：

   docker run -v "$PWD":/var/task public.ecr.aws/lambda/python:3.9 \
     pip install scikit-learn --target /var/task/python
   

3. 进入 python 目录，将其打包成 zip 文件（注意不要包含 python 目录本身，zip 内直接是 lib 文件夹）：

   cd python
   zip -r ../sklearn-layer.zip .
   

4. 将这个 zip 文件上传为 Lambda 层，关联到主函数后，主函数无需导入其他 handler，直接保留 from sklearn.feature_extraction.text import TfidfVectorizer 即可正常使用。

其他可行解决办法 #

• 使用 Lambda 容器镜像：放弃层的方式，直接构建包含 scikit-learn 的容器镜像。将代码和依赖一起打包到镜像中，上传到 Amazon ECR，再配置 Lambda 使用该镜像启动。镜像最大支持 10GB，完全满足 scikit-learn 的体积需求。
• 使用公共预构建层：社区已有很多预构建好的 scikit-learn Lambda 层，直接在 Lambda 层控制台搜索或使用公开的 ARN 即可，无需自行打包。
• 裁剪依赖体积：安装 scikit-learn 时使用 --no-deps 参数避免安装不必要的依赖，手动删除包内的文档、示例数据集、测试代码等非必需文件，进一步减小体积。
• 用 Serverless/SAM 框架部署：这些框架会自动处理依赖打包、层的创建与关联，无需手动操作目录结构和打包流程，简化开发部署步骤。

内容的提问来源于stack exchange，提问作者Y.D