AWS GovCloud中Lambda函数含多依赖上传遇内存及大小限制问题

问题核心 #

在AWS GovCloud环境下，通过Docker打包Python依赖（尤其是OpenCV）后，生成的ZIP文件要么超出Lambda层的大小限制，要么上传时触发内存错误；同时GovCloud的Lambda运行时预安装模块极少，进一步压缩了可用空间。

可行解决方案 #

1. 极致压缩OpenCV及依赖包

OpenCV完整版体积庞大，先换成无头版，再清理冗余文件：

• 打包时用无头版OpenCV，命令：

  pip install --target ./package --no-cache-dir --only-binary :all: opencv-python-headless
  

• 清理package目录下的冗余文件：

  # 删除缓存、元数据和测试文档
  find ./package -type d -name "__pycache__" -exec rm -rf {} +
  find ./package -type d -name "*.dist-info" -exec rm -rf {} +
  find ./package -type f -name "*.pyc" -delete
  rm -rf ./package/**/tests ./package/**/docs
  

• 剥离二进制文件的调试信息（Lambda运行在Linux环境，这一步能大幅减小体积）：

  find ./package -name "*.so" -exec strip {} \;
  

2. 拆分依赖到多个Lambda层

Lambda允许单个函数挂载最多5层，按依赖类型拆分：

• 把OpenCV单独作为一层，其他轻量依赖（比如numpy等）作为另一层
• 注意层的加载顺序：确保依赖项先于使用它的层被加载（比如numpy层要在OpenCV层之前）

3. 改用Lambda容器镜像（彻底绕开层大小限制）

如果压缩后还是无法满足层的大小要求，直接用容器镜像部署：

• 基于GovCloud支持的Lambda基础镜像（比如public.ecr.aws/lambda/python:3.11）构建自定义镜像，在Dockerfile中安装所有依赖
• 把镜像推送到GovCloud的ECR仓库，然后用该镜像创建Lambda函数
• 容器镜像最大支持10GB，完全能容纳复杂的Python环境

4. 排查并排除预安装模块

虽然GovCloud的预装模块少，但还是要确认哪些是已经存在的，避免重复打包：

• 在Lambda函数中运行pip list查看预安装包，比如boto3、botocore通常是预装的，打包时排除这些模块：

  pip install --target ./package --no-cache-dir --only-binary :all: opencv-python-headless --exclude-packages boto3 botocore
  

内容的提问来源于stack exchange，提问作者Brian Perker