多阶段Docker构建：批量复制依赖库且不触发最大深度限制

核心思路 #

避免逐个COPY触发Docker构建层数限制，通过预生成依赖列表+批量复制的方式，把200+依赖的复制操作压缩到少量Docker指令中，同时大幅减小镜像体积。

方法一：多阶段构建+循环复制依赖 #

利用构建阶段提取FFmpeg的所有依赖路径，在最终镜像中通过Shell循环批量复制，仅需1层RUN指令完成所有依赖拷贝。

Dockerfile示例

# 构建阶段：获取FFmpeg及其依赖列表
FROM amazonlinux:2 AS builder

# 安装FFmpeg和基础工具
RUN yum install -y ffmpeg which awk grep sort coreutils --nogpgcheck

# 提取FFmpeg的所有依赖路径（去重、过滤无效路径）
RUN ldd $(which ffmpeg) | awk '{print $3}' | grep -v '^$' | sort -u > /tmp/ffmpeg_deps.txt

# 复制FFmpeg二进制文件到临时目录
RUN cp $(which ffmpeg) /tmp/ffmpeg

# ------------------------------

# 最终镜像：基于AWS Lambda官方Python镜像
FROM public.ecr.aws/lambda/python:3.12

# 从构建阶段导入依赖列表和FFmpeg二进制
COPY --from=builder /tmp/ffmpeg_deps.txt /tmp/
COPY --from=builder /tmp/ffmpeg /usr/local/bin/

# 批量复制依赖库到对应系统目录
RUN while read dep_path; do \
        # 创建依赖文件的父目录（避免复制失败）
        mkdir -p $(dirname "$dep_path"); \
        # 从构建阶段复制依赖库
        cp --from=builder "$dep_path" "$dep_path"; \
    done < /tmp/ffmpeg_deps.txt

# 可选：去除二进制文件的调试信息，进一步减小体积
RUN strip /usr/local/bin/ffmpeg && strip $(cat /tmp/ffmpeg_deps.txt)

# 复制你的Lambda Python代码
COPY app.py ${LAMBDA_TASK_ROOT}/

# 设置Lambda执行入口
CMD ["app.lambda_handler"]

方法二：打包依赖后批量解压 #

通过rsync将所有依赖和FFmpeg打包到一个临时目录，再一次性复制到最终镜像，完全避免循环，仅需1次COPY指令。

Dockerfile示例

# 构建阶段：打包FFmpeg及依赖
FROM amazonlinux:2 AS builder

RUN yum install -y ffmpeg rsync --nogpgcheck

# 提取依赖路径并打包
RUN ldd $(which ffmpeg) | awk '{print $3}' | grep -v '^$' | sort -u > /tmp/deps.txt
RUN mkdir -p /tmp/ffmpeg_bundle/usr/local/bin
RUN cp $(which ffmpeg) /tmp/ffmpeg_bundle/usr/local/bin/
# 从系统根目录同步所有依赖到打包目录
RUN rsync -av --files-from=/tmp/deps.txt / /tmp/ffmpeg_bundle/

# ------------------------------

# 最终镜像
FROM public.ecr.aws/lambda/python:3.12

# 一次性导入所有打包内容
COPY --from=builder /tmp/ffmpeg_bundle/ /

# 优化体积（可选）
RUN strip /usr/local/bin/ffmpeg && strip $(find /lib /usr/lib -name "*.so*" | grep -E "$(cat /tmp/deps.txt | awk -F/ '{print $NF}' | tr '\n' '|')")

# 复制Python代码
COPY app.py ${LAMBDA_TASK_ROOT}/
CMD ["app.lambda_handler"]

关键注意事项 #

• 依赖兼容性：用Amazon Linux作为构建环境，确保和Lambda运行时的系统库版本一致，避免运行时依赖缺失。
• 去重处理：通过sort -u去重依赖路径，减少重复复制的文件，进一步压缩镜像体积。
• Python依赖处理：如果你的代码需要额外Python库，用pip install --target=package安装后，直接复制package目录到${LAMBDA_TASK_ROOT}即可，无需额外处理系统依赖。

内容的提问来源于stack exchange，提问作者jsamsf