如何缩减Docker镜像中botocore体积？仅使用AWS S3服务

能否弃用botocore？ #

如果你的代码直接依赖botocore，或通过boto3间接依赖（boto3核心依赖botocore），无法直接弃用，但可考虑替代方案：

• 使用轻量级S3客户端库：比如专门针对S3的极简工具库，或直接用requests结合AWS签名机制调用S3 REST API，完全绕开botocore。
• 若当前用boto3，可尝试替换为更轻量的AWS SDK实现，但需评估代码适配成本。

缩减botocore体积的可行方案 #

针对仅使用S3服务的场景，可通过以下方式大幅压缩botocore在镜像中的体积：

1. 裁剪botocore的data目录 #

botocore的体积大头来自data目录下的全量AWS服务定义文件，可只保留S3相关内容：

• 删除botocore/data下除s3以外的所有服务目录
• 在s3目录中仅保留最新版本的文件夹，删除旧版本
• 对保留的service-2.json进行gzip压缩，可通过自定义脚本修改botocore的加载逻辑以读取压缩后的文件

2. 多阶段Docker构建 #

利用Docker多阶段构建分离构建与运行环境，减少镜像冗余：

# 构建阶段：安装所有依赖
FROM python:3.11-slim AS builder
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt --target /app/deps

# 运行阶段：仅复制必要文件到轻量镜像
FROM python:3.11-alpine
WORKDIR /app
COPY --from=builder /app/deps /usr/local/lib/python3.11/site-packages
# 裁剪botocore data目录
RUN rm -rf /usr/local/lib/python3.11/site-packages/botocore/data/!(s3) && \
    cd /usr/local/lib/python3.11/site-packages/botocore/data/s3 && \
    ls -d */ | sort -r | tail -n +2 | xargs rm -rf
COPY . .
CMD ["python", "app.py"]

3. 使用裁剪版botocore包 #

可通过脚本过滤data目录后重新打包botocore，仅保留S3相关服务定义；也可选用社区维护的预裁剪版本（需注意维护性与安全性）。

4. 清理冗余文件 #

安装依赖后，清理不必要的缓存与文件：

RUN pip install --no-cache-dir -r requirements.txt && \
    rm -rf /root/.cache/pip && \
    find /usr/local/lib/python3.11/site-packages -name "*.pyc" -delete && \
    find /usr/local/lib/python3.11/site-packages -name "tests" -type d -delete && \
    find /usr/local/lib/python3.11/site-packages -name "docs" -type d -delete

内容的提问来源于stack exchange，提问作者Martin Thoma