如何在K8s Pod中运行Python虚拟环境

问题场景 #

尝试创建Docker镜像并编写K8s清单，在镜像中通过pip将c7n和c7n-mailer安装到Python虚拟环境，随后在K8s Pod中激活虚拟环境并执行相关命令，但始终报错找不到虚拟环境的激活脚本。

Docker镜像配置 #

原Dockerfile内容：

FROM cloudcustodian/c7n
SHELL ["/bin/bash", "-c"]

RUN python3 -m venv env && \
    source ./env/bin/activate && \
    python -m pip install install c7n && \
    python -m pip install install c7n-mailer

# RUN python -m venv custodian && \
#     source custodian/bin/activate && \
#     pip install c7n && \
#     pip install c7n-mailer 

K8s清单与参数配置 #

K8s清单通过values.yaml传递参数：

command: ["/bin/bash","-c" ]
            args:
            {{- range $.Values.args }}
            - {{ . | quote }}
            {{- end }}

values.yaml中的参数配置：

args:
 - "source ./env/bin/activate && c7n-mailer --config /home/custodian/mailer.yml --update-lambda && custodian run -v -s /home/custodian/output /home/custodian/policies.yaml"

报错信息 #

kubectl logs -f custodian-cloud-custodian-cron-daily-policies-27973874-7csf5                     % at kube docker-desktop
/bin/bash: line 1: ./env/bin/activate: No such file or directory

解决方案 #

1. 修正Dockerfile的路径与安装错误 #

原Dockerfile存在两个问题：一是使用相对路径创建虚拟环境，容易因Pod工作目录变化导致路径失效；二是pip install命令重复写了install关键字，属于语法错误。

修正后的Dockerfile：

FROM cloudcustodian/c7n
SHELL ["/bin/bash", "-c"]

# 使用绝对路径创建虚拟环境，避免工作目录变动的影响
RUN python3 -m venv /opt/custodian/env && \
    source /opt/custodian/env/bin/activate && \
    python -m pip install --upgrade pip && \
    python -m pip install c7n c7n-mailer

2. 调整K8s执行命令（二选一即可） #

方法一：直接使用虚拟环境命令的绝对路径（推荐）

无需手动激活虚拟环境，直接调用虚拟环境内的可执行文件绝对路径，避免source激活的路径依赖问题：

args:
 - "/opt/custodian/env/bin/c7n-mailer --config /home/custodian/mailer.yml --update-lambda && /opt/custodian/env/bin/custodian run -v -s /home/custodian/output /home/custodian/policies.yaml"

方法二：通过绝对路径source激活虚拟环境

如果坚持使用激活方式，需指定虚拟环境的绝对路径：

args:
 - "source /opt/custodian/env/bin/activate && c7n-mailer --config /home/custodian/mailer.yml --update-lambda && custodian run -v -s /home/custodian/output /home/custodian/policies.yaml"

3. 额外优化：通过环境变量简化命令 #

在Dockerfile中添加环境变量，将虚拟环境的bin目录加入系统PATH，后续直接执行命令即可：

FROM cloudcustodian/c7n
SHELL ["/bin/bash", "-c"]

RUN python3 -m venv /opt/custodian/env && \
    source /opt/custodian/env/bin/activate && \
    python -m pip install --upgrade pip && \
    python -m pip install c7n c7n-mailer

# 将虚拟环境bin目录加入PATH
ENV PATH="/opt/custodian/env/bin:$PATH"

对应的values.yaml参数可简化为：

args:
 - "c7n-mailer --config /home/custodian/mailer.yml --update-lambda && custodian run -v -s /home/custodian/output /home/custodian/policies.yaml"

错误原因说明 #

原配置中使用相对路径./env创建虚拟环境，但K8s Pod的默认工作目录可能与Dockerfile中RUN命令的执行目录不一致（比如基础镜像cloudcustodian/c7n的工作目录是/home/custodian，而你在/目录下创建了env），导致Pod中执行source ./env/bin/activate时，当前工作目录下不存在该路径，从而报错。

内容的提问来源于stack exchange，提问作者user21181512