如何规避AWS Lambda 250MB层限制，部署超规Python依赖包？

Lambda运行时是否自带这些依赖？ #

Lambda官方提供的Python运行时仅包含Python标准库，scikit-learn、pandas、numpy、sqlalchemy这类第三方库均未预装，必须自行提供。

不用容器的优化方案 #

1. 极致压缩pip安装包体积 #

通过以下方式大幅削减依赖包的大小：

• 针对Lambda的Amazon Linux 2环境，安装时指定平台与二进制包，避免源码编译冗余：

  pip install --target ./package --platform manylinux2014_x86_64 --only-binary=:all: --no-cache-dir scikit-learn pandas numpy sqlalchemy
  

• 手动清理无用文件：删除包内的tests/目录、*.md/*.rst文档、__pycache__文件夹，以及scikit-learn中附带的示例数据集、冗余模型文件。
• 仅安装必要依赖：使用--no-deps参数跳过自动安装间接依赖，再手动添加实际需要的依赖（比如sqlalchemy无需额外依赖，可单独安装）。

2. 拆分依赖到多个Lambda层 #

Lambda允许同时附加最多5个层，每个层的压缩包上限为50MB、未压缩大小上限为250MB。你可以将大体积依赖拆分到多个层：

• 示例拆分方案：
  • 层1：numpy + pandas
  • 层2：scikit-learn
  • 层3：sqlalchemy
    拆分后每个层的压缩包大小可控制在限制内，满足Lambda的层规则。

3. 挂载EFS存储依赖 #

将依赖包存储在AWS EFS（弹性文件系统）中，让Lambda运行时从EFS加载：

• 步骤：
  1. 创建EFS文件系统，并配置Lambda所在VPC的访问权限。
  2. 在EC2实例或本地通过EFS挂载点，将依赖包安装到EFS的指定目录（比如/mnt/efs/python-packages）。
  3. 配置Lambda挂载该EFS目录，在Lambda代码开头添加：

     import sys
     sys.path.append('/mnt/efs/python-packages')
     

  这种方式完全不受Lambda层的大小限制，适合大体积依赖场景。

4. 使用社区优化的公共Lambda层 #

部分社区提供了预编译并压缩后的第三方库层，比如已去除冗余文件的scikit-learn、pandas层，体积通常能控制在Lambda层限制内。你可以在Lambda层的公共库中搜索这类资源，直接复用。

内容的提问来源于stack exchange，提问作者helloworld