如何缩小ECS上Celery Worker的Docker镜像并优化部署？

针对Celery容器过大（超过1GB）、扩缩容时部署耗时5分钟的问题，可从镜像瘦身和部署流程优化两方面入手，具体方案如下：

一、Docker镜像大小优化 #

1. 使用轻量基础镜像 #

将Celery Dockerfile的基础镜像从python:3.9（完整镜像约900MB）替换为python:3.9-slim（轻量镜像约120MB），直接大幅降低基础体积。

2. 合并RUN命令并清理缓存 #

多个独立RUN命令会生成冗余镜像层，合并为单个命令减少层数；同时在apt-get安装后清理缓存，避免残留无用文件：

# 合并系统依赖安装并清理缓存
RUN apt-get update && apt-get install -y --no-install-recommends \
    netcat gettext \
    && apt-get clean && rm -rf /var/lib/apt/lists/*

# 合并pip命令并禁用缓存
RUN pip install --upgrade pip --no-cache-dir \
    && pip install git+https://github.com/ByteInternet/pip-install-privates.git@master#egg=pip-install-privates --no-cache-dir \
    && pip_install_privates --token $GitHubToken $DockerHOME/requirements.txt --no-cache-dir

3. 多阶段构建分离构建与运行依赖 #

通过多阶段构建，仅将运行时必要文件复制到最终镜像，排除构建过程中的临时文件和冗余依赖：

# 构建阶段：安装所有依赖和Playwright
FROM python:3.9-slim as builder

ENV DockerHOME=/home/app/web
ENV GitHubToken=ghp_***

WORKDIR $DockerHOME

ENV PYTHONDONTWRITEBYTECODE 1
ENV PYTHONUNBUFFERED 1

# 安装构建所需系统依赖
RUN apt-get update && apt-get install -y --no-install-recommends \
    git netcat gettext \
    && apt-get clean && rm -rf /var/lib/apt/lists/*

# 安装pip工具和私有包依赖
RUN pip install --upgrade pip --no-cache-dir \
    && pip install git+https://github.com/ByteInternet/pip-install-privates.git@master#egg=pip-install-privates --no-cache-dir

# 复制并安装Python依赖（排除测试包）
COPY requirements.txt .
RUN grep -v "pytest" requirements.txt > temp_requirements.txt \
    && pip_install_privates --token $GitHubToken temp_requirements.txt --no-cache-dir \
    && rm temp_requirements.txt

# 仅安装必要的Playwright浏览器（比如只装chromium）
RUN playwright install --with-deps chromium --no-cache-dir

# 运行阶段：仅保留运行时所需文件
FROM python:3.9-slim as runtime

ENV DockerHOME=/home/app/web
WORKDIR $DockerHOME

# 复制构建阶段的依赖和Playwright文件
COPY --from=builder /usr/local/lib/python3.9/site-packages /usr/local/lib/python3.9/site-packages
COPY --from=builder /usr/local/bin /usr/local/bin
COPY --from=builder /root/.cache/ms-playwright /root/.cache/ms-playwright

# 安装运行时必要的系统库
RUN apt-get update && apt-get install -y --no-install-recommends \
    libglib2.0-0 libnss3 libfontconfig1 \
    && apt-get clean && rm -rf /var/lib/apt/lists/*

# 复制应用代码（配合.dockerignore排除无用文件）
COPY . $DockerHOME

4. 清理不必要的依赖 #

检查requirements.txt，移除生产环境无需的包：

• 移除pytest（测试框架）
• 若不使用Django admin，移除django-jazzmin
• 若Celery任务无需Scrapy，移除Scrapy和scrapy-fake-useragent

5. 使用.dockerignore排除无用文件 #

创建.dockerignore文件，避免将本地冗余文件复制到镜像：

.git
__pycache__
*.pyc
*.pyo
.env
.gitignore
tests/
static/
media/
node_modules/

二、ECS部署速度优化 #

1. 预构建镜像并存储在ECR #

不要在扩缩容时实时构建镜像，提前将构建好的镜像推送到Amazon ECR。ECS启动任务时直接拉取预构建镜像，避免重复执行构建流程。

2. 启用ECR镜像缓存 #

构建镜像时使用--cache-from参数复用ECR中已有的镜像层，大幅减少构建时间。例如在CodeBuild的buildspec.yml中配置：

phases:
  build:
    commands:
      - aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin <ECR_REPO_URI>
      - docker build --cache-from <ECR_REPO_URI>:latest -t <ECR_REPO_URI>:latest .
      - docker push <ECR_REPO_URI>:latest

3. 使用Fargate快速启动 #

开启Fargate的快速启动功能（需在任务定义中配置），Fargate会预初始化部分资源，缩短容器启动时间。

4. 共享基础镜像 #

为Django、Celery Worker和Beat构建公共基础镜像，包含所有共同依赖（如Python环境、公共pip包）。三个服务的镜像基于该基础镜像构建，共享镜像层，拉取速度更快。

三、额外优化建议 #

• 限制Playwright浏览器数量：若仅需Chromium，无需安装Firefox，可减少数百MB体积。
• 使用无头模式运行Playwright：确保Celery任务中使用Playwright的无头模式，避免不必要的GUI依赖。
• 调整ECS任务定义：合理配置容器的CPU/内存资源限制，匹配任务需求，避免资源浪费。

内容的提问来源于stack exchange，提问作者Adrian