多阶段Docker构建中netCDF4部署及读写性能问题排查

我原本有一个运行netCDF4相关Python程序的单阶段Dockerfile：

ARG BASE_IMG=python:3.11-slim
ARG VENV="/opt/venv"

# ------------------------------ #
FROM $BASE_IMG
ARG VENV

RUN apt-get update && \
    apt-get upgrade && \
    apt-get install -y python3-dev libhdf5-dev libnetcdf-dev

RUN python -m venv $VENV
ENV PATH="$VENV/bin:$PATH"

RUN pip install numpy~=1.23.5 netcdf4~=1.6.4 h5py~=3.9.0

COPY test.py test.py

ENTRYPOINT ["python", "-m", "test"]

为了避免编译工具进入最终镜像，我改成了多阶段构建，将虚拟环境从编译阶段复制到最终阶段：

ARG BASE_IMG=python:3.11-slim
ARG VENV="/opt/venv"

FROM $BASE_IMG as compile-image
ARG VENV

RUN apt-get update && \
    apt-get upgrade && \
    apt-get install -y python3-dev libhdf5-dev libnetcdf-dev

RUN python -m venv $VENV
ENV PATH="$VENV/bin:$PATH"

RUN pip install numpy~=1.23.5 netcdf4~=1.6.4 h5py~=3.9.0

# ------------------------------ #
FROM $BASE_IMG
ARG VENV

RUN apt-get update && \
    apt-get upgrade && \
    apt-get install -y libhdf5-dev libnetcdf-dev

COPY --from=compile-image $VENV $VENV
ENV PATH="$VENV/bin:$PATH"

COPY test.py test.py

ENTRYPOINT ["python", "-m", "test"]

镜像构建后可正常运行，但netCDF4的读写操作速度大幅变慢；如果直接在最终阶段安装netCDF4则无此问题。怀疑是netCDF4依赖的某些外部C库未正确复制，请问如何检查依赖链接情况，以及需要复制哪些文件解决问题？

一、检查netCDF4的依赖库链接状态 #

1. 启动最终阶段的镜像容器：

   docker run --rm -it <你的镜像名> bash
   

2. 找到netCDF4核心扩展文件的路径：

   python -c "import netCDF4; print(netCDF4._netCDF4.__file__)"
   

3. 用ldd命令查看该文件的依赖情况：

   ldd <上述命令输出的文件路径>
   

   • 重点关注输出中标记为not found的条目，这些就是缺失的依赖库。
   • 同时可以在编译阶段镜像中执行相同命令，对比两个环境的依赖版本或路径是否一致。

二、解决性能问题的具体方案 #

方案1：强制使用预编译wheel（推荐） #

编译阶段中，若pip从源码编译netCDF4，生成的库通常不如官方预编译的manylinux wheel优化充分，这是导致性能下降的常见原因。可以修改编译阶段的pip命令，强制使用预编译包：

RUN pip install --upgrade pip && \
    pip install --only-binary :all: numpy~=1.23.5 netcdf4~=1.6.4 h5py~=3.9.0

这样pip会直接下载优化后的预编译包，复制虚拟环境后性能与直接在最终阶段安装一致。

方案2：补充缺失的运行时库 #

如果坚持源码编译，需确保最终镜像包含所有必要的运行时库（注意：开发包libhdf5-dev仅用于编译，运行时需要单独的库包）：

1. 根据ldd的输出，整理出所有依赖的系统库（例如libhdf5.so、libnetcdf.so、libcurl.so等）。
2. 在最终阶段的apt-get install中安装对应的运行时包，以python:3.11-slim（基于debian bookworm）为例：

   RUN apt-get update && \
       apt-get upgrade && \
       apt-get install -y --no-install-recommends libhdf5-104 libnetcdf19 libcurl4 libaec0 libzstd1 && \
       rm -rf /var/lib/apt/lists/*
   

方案3：直接复制编译阶段的系统库（备选） #

若不想通过apt安装，可以直接从编译镜像复制依赖库到最终镜像：

COPY --from=compile-image /usr/lib/x86_64-linux-gnu/libhdf5*.so* /usr/lib/x86_64-linux-gnu/
COPY --from=compile-image /usr/lib/x86_64-linux-gnu/libnetcdf*.so* /usr/lib/x86_64-linux-gnu/
# 根据ldd输出添加其他需要的库文件
RUN ldconfig

三、优化后的多阶段Dockerfile示例 #

ARG BASE_IMG=python:3.11-slim
ARG VENV="/opt/venv"

FROM $BASE_IMG as compile-image
ARG VENV

# 安装编译依赖（若使用--only-binary可省略，保留作兼容）
RUN apt-get update && \
    apt-get upgrade && \
    apt-get install -y --no-install-recommends python3-dev libhdf5-dev libnetcdf-dev && \
    rm -rf /var/lib/apt/lists/*

RUN python -m venv $VENV
ENV PATH="$VENV/bin:$PATH"

# 强制使用预编译wheel
RUN pip install --upgrade pip && \
    pip install --only-binary :all: numpy~=1.23.5 netcdf4~=1.6.4 h5py~=3.9.0

# ------------------------------ #
FROM $BASE_IMG
ARG VENV

# 安装运行时依赖
RUN apt-get update && \
    apt-get upgrade && \
    apt-get install -y --no-install-recommends libhdf5-104 libnetcdf19 libcurl4 libaec0 libzstd1 && \
    rm -rf /var/lib/apt/lists/*

COPY --from=compile-image $VENV $VENV
ENV PATH="$VENV/bin:$PATH"

COPY test.py test.py

ENTRYPOINT ["python", "-m", "test"]

内容的提问来源于stack exchange，提问作者Rob Allsopp