如何在AWS Lambda运行时创建Conda环境？解决读写权限问题

核心问题 #

AWS Lambda仅允许写入/tmp目录，而Conda默认会在HOME路径下生成配置文件、缓存和环境目录，该路径在Lambda中是只读的；仅修改HOME变量会导致Conda初始化时找不到默认的包缓存路径配置，触发KeyError('pkgs_dirs')。

解决方案 #

1. 显式指定所有Conda可写路径的环境变量 #

在执行Conda命令前，设置以下环境变量，强制所有可写操作指向/tmp：

export CONDA_PKGS_DIRS=/tmp/conda_pkgs
export CONDA_ENVS_DIRS=/tmp/conda_envs
export HOME=/tmp
export CONDA_CACHE_DIR=/tmp/conda_cache
export CONDARC=/tmp/.condarc

2. 提前创建必要目录 #

避免Conda因目录不存在报错，先手动创建所需目录：

mkdir -p /tmp/conda_pkgs /tmp/conda_envs /tmp/conda_cache /tmp/.conda

3. 创建Conda环境时显式指定路径 #

执行conda env create时，通过-p参数指定环境安装到/tmp下的目录：

conda env create -f env.yml -p /tmp/conda_envs/torch_model

4. 直接调用环境内的Python执行脚本 #

Lambda环境中无法通过source activate激活环境，直接使用环境目录下的Python解释器运行脚本：

/tmp/conda_envs/torch_model/bin/python flow.py run

优化建议 #

• 使用Mamba替代Conda：Mamba是Conda的替代工具，包安装速度更快，占用空间更小，能减少Lambda执行时间和内存消耗。
• 提前打包Conda环境为Lambda层：将配置好的Conda环境打包成Lambda层，避免每次执行都重新创建环境，大幅提升执行效率，同时规避路径权限问题。

内容的提问来源于stack exchange，提问作者Riley Hun