在AWS Lambda中导入多个大型依赖的正确方法咨询

结论：完全可以将大型依赖拆分为多个独立的AWS Lambda Layer使用，这是AWS官方明确支持的功能，单个Lambda函数最多可附加5个自定义/公共Layer，足以容纳你提到的PyTorch、transformers、datasets这类大依赖。

核心实操要点 #

• 拆分依赖打包：将每个大型依赖单独打包为一个Layer，比如单独打包PyTorch、单独打包transformers、单独打包datasets。每个Layer只需遵循Lambda的目录规范：Python依赖必须放在python/lib/pythonX.X/site-packages/目录下（X.X替换为你使用的Python版本，比如3.9）。
• 解决本地空间不足：不要同时下载所有依赖，逐个处理：
  • 先创建单独的虚拟环境，安装单个依赖（比如执行pip install torch -t ./python/lib/python3.9/site-packages/）
  • 打包该Layer的压缩包后，删除本地的依赖文件和虚拟环境，再处理下一个依赖
  • 若本地空间仍不足，可直接使用AWS CloudShell完成打包：CloudShell提供足够的磁盘空间，且自带AWS CLI，打包后直接上传Layer即可，无需下载到本地
• 关联Layer到Lambda：在Lambda函数配置页面，依次添加所有需要的Layer即可。Lambda会自动将所有Layer的内容合并到运行环境中，代码中可以直接导入所有依赖，无需额外配置路径。

注意事项 #

• Layer的顺序仅在存在依赖版本冲突时需要注意：后添加的Layer会覆盖前面Layer中的同名依赖，因此确保每个Layer只包含独立的无冲突依赖即可
• 打包时不要将外层文件夹包含到压缩包中，比如直接压缩python/目录本身，而不是包含python/的父文件夹，否则Lambda无法识别依赖路径

内容的提问来源于stack exchange，提问作者vel