AWS构建Web应用：如何缩减Docker构建大小并共享Conda环境？

问题背景 #

我正尝试使用AWS构建Web应用，现有docker-compose.yml文件用于构建两个镜像：一个运行Flask服务脚本的service镜像，以及一个处理Flask服务下发计算任务的worker镜像。

services:
  worker:
    image: co2gasp/worker:latest
    build: ./worker_app
  web:
    image : co2gasp/service:latest 
    build: ./server_app

当前两个镜像的Dockerfile内容完全相同，会分别构建完全一致的Conda环境，构建第二个镜像时出现内存不足的问题。我希望尽可能缩小构建体积，并想了解是否可以构建单个Conda环境供两个镜像共享？

对应的Dockerfile如下：

FROM continuumio/miniconda3

RUN apt-get update -y
RUN apt-get install zip -y
RUN apt-get install awscli -y
WORKDIR /app
## Create the environment:
COPY environment.yml .
#Make RUN commands use the new environment:
RUN conda env create -f environment.yml

COPY ./PHREEQC /PHREEQC
COPY ./service /service
COPY ./temp_files /temp_files
COPY ./INPUT_DATA /INPUT_DATA
COPY ./PHREEQC/phreeqc_files/database/pitzer.dat /bin/pitzer.dat
COPY ./PHREEQC/phreeqc_files/bin/phreeqc /bin/phreeqc
ENV PATH=${PATH}:/bin/phreeqc
ENV PATH=${PATH}:/bin/pitzer.dat
ENV PATH=${PATH}:/bin
RUN echo 'Adding new'
RUN echo "conda activate myenv" >> ~/.bashrc

SHELL ["conda", "run", "-n", "myenv", "/bin/bash", "-c"]

# Demonstrate the environment is activated:
RUN echo "Make sure flask is installed:"
RUN python -c "import flask"

RUN echo "Copy service directory"

WORKDIR /service
ENTRYPOINT ["conda", "run", "--no-capture-output", "-n", "myenv", "python","worker.py"]

解决方案：复用基础镜像 #

通过构建一个包含Conda环境和通用依赖的基础镜像，让service和worker镜像都基于这个基础镜像扩展，完全避免重复构建环境的操作，同时大幅缩小镜像体积。

1. 构建通用基础镜像 #

在项目根目录创建Dockerfile.base，只处理Conda环境和系统通用依赖：

FROM continuumio/miniconda3

# 合并系统依赖安装命令，清理缓存减少体积
RUN apt-get update -y && \
    apt-get install -y zip awscli && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

WORKDIR /app

# 创建Conda环境并清理缓存
COPY environment.yml .
RUN conda env create -f environment.yml && \
    conda clean -afy

# 设置默认激活环境
RUN echo "conda activate myenv" >> ~/.bashrc
SHELL ["conda", "run", "-n", "myenv", "/bin/bash", "-c"]

# 验证环境（可选步骤）
RUN python -c "import flask"

2. 修改worker和service的Dockerfile #

Worker镜像（./worker_app/Dockerfile）

FROM co2gasp/base:latest

# 复制worker专属文件
COPY ./PHREEQC /PHREEQC
COPY ./temp_files /temp_files
COPY ./INPUT_DATA /INPUT_DATA
COPY ./PHREEQC/phreeqc_files/database/pitzer.dat /bin/pitzer.dat
COPY ./PHREEQC/phreeqc_files/bin/phreeqc /bin/phreeqc

# 优化PATH设置
ENV PATH=/bin:$PATH

WORKDIR /service
ENTRYPOINT ["conda", "run", "--no-capture-output", "-n", "myenv", "python", "worker.py"]

Service镜像（./server_app/Dockerfile）

FROM co2gasp/base:latest

# 复制service专属的Flask服务代码
COPY ./service /service

WORKDIR /service
# 替换为Flask服务的启动命令
ENTRYPOINT ["conda", "run", "--no-capture-output", "-n", "myenv", "python", "app.py"]

3. 更新docker-compose.yml #

添加基础镜像的构建配置，确保先构建基础镜像再构建业务镜像：

services:
  worker:
    image: co2gasp/worker:latest
    build: 
      context: ./worker_app
      dockerfile: Dockerfile
    depends_on:
      - base
  web:
    image : co2gasp/service:latest 
    build: 
      context: ./server_app
      dockerfile: Dockerfile
    depends_on:
      - base

# 基础镜像构建任务
base:
  image: co2gasp/base:latest
  build:
    context: .
    dockerfile: Dockerfile.base

额外优化技巧 #

• 镜像层优化：始终合并多个RUN指令为一个，减少镜像层数，同时在每一步操作后清理缓存（如apt-get clean、conda clean）。
• conda-pack压缩环境：如果需要极致压缩，可以使用conda-pack工具打包Conda环境，在基础镜像中解压，替代conda env create，进一步减少冗余文件。
• AWS缓存利用：将基础镜像推送到AWS ECR，后续构建时直接拉取缓存镜像，避免在AWS构建环境中重复创建Conda环境，节省内存和时间。

内容的提问来源于stack exchange，提问作者Hamish Robertson