构建带NVIDIA编解码的PyTorch+FFmpeg Docker镜像遇问题求助

核心矛盾在于Conda环境与系统环境的库路径冲突，以及TorchAudio对FFmpeg依赖的查找逻辑问题：

• 原镜像重复安装Miniconda导致环境变量混乱
• 编译FFmpeg到Conda路径后，Conda环境无法加载系统层面的libopenh264.so.5
• 调整后FFmpeg命令行可用，但TorchAudio因库路径优先级问题无法识别编译好的FFmpeg

1. 重构Dockerfile（核心修正） #

利用nvcr镜像自带的Conda环境，避免重复安装，同时解决库依赖与路径问题：

FROM nvcr.io/nvidia/pytorch:24.06-py3

# 安装编译依赖+系统级openh264库
RUN apt-get -yqq update && \
    apt-get install -yq --no-install-recommends \
    ca-certificates expat libgomp1 \
    autoconf automake build-essential cmake git-core \
    libass-dev libfreetype6-dev libgnutls28-dev libmp3lame-dev \
    libnuma1 libnuma-dev libsdl2-dev libtool libva-dev libvdpau-dev \
    libvorbis-dev libxcb1-dev libxcb-shm0-dev libxcb-xfixes0-dev \
    libc6 libc6-dev meson ninja-build pkg-config texinfo unzip wget yasm zlib1g-dev \
    libopenh264-dev && \
    apt-get autoremove -y && \
    apt-get clean -y && \
    rm -rf /var/lib/apt/lists/*

# 使用镜像自带Conda更新依赖
COPY .devcontainer/env.yml .
RUN conda env update --file env.yml --prune

# 安装NVIDIA编解码头文件
RUN git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git && \
    cd nv-codec-headers && \
    make install && \
    cd .. && rm -rf nv-codec-headers

# 编译FFmpeg，规避Conda库冲突
RUN git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg/ && \
    cd ffmpeg && \
    ./configure \
    --prefix="$CONDA_PREFIX" \
    --enable-nonfree \
    --enable-cuda-nvcc \
    --enable-libnpp \
    --extra-cflags="-I/usr/local/cuda/include" \
    --extra-ldflags="-L/usr/local/cuda/lib64" \
    --disable-static \
    --enable-shared \
    --disable-libopenh264 \
    --enable-gpl && \
    make -j $(nproc) && \
    make install && \
    ldconfig && \
    cd .. && rm -rf ffmpeg

# 修正库路径优先级，同时加载系统库
ENV LD_LIBRARY_PATH="$CONDA_PREFIX/lib:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH"

2. 优化env.yml（避免环境冲突） #

移除name: base，复用镜像自带的基础环境：

channels:
  - pytorch
  - nvidia
  - conda-forge
  - defaults
dependencies:
  - pytorch=2.3.1=py3.12_cuda12.1_cudnn8.9.2_0
  - torchvision=0.18.1=py312_cu121
  - torchaudio=2.3.1=py312_cu121
  - pytorch-cuda=12.1=ha16c6d3_5

3. 关键修改说明 #

• 移除重复Miniconda安装：nvcr的PyTorch镜像已预装Conda，重复安装会导致路径混乱，直接用conda env update更新依赖即可
• 系统级安装openh264：通过apt安装libopenh264-dev解决库缺失问题，编译FFmpeg时禁用--enable-libopenh264避免Conda版本冲突
• 优化编译参数：用$(nproc)自动适配CPU核心数，添加--enable-gpl支持H.264等编码
• 调整库路径：将系统库路径加入LD_LIBRARY_PATH，确保系统库能被Conda环境加载，同时保持Conda路径优先
• 清理冗余文件：编译完成后删除源码目录，减小镜像体积

构建镜像后，进入Conda环境运行测试代码：

conda activate base
python test.py

正常情况下会输出FFmpeg版本、CUDA编解码器列表，且torchvision.set_video_backend('cuda')无报错。

额外验证NVIDIA编解码器：

ffmpeg -hide_banner -encoders | grep nvenc
ffprobe -hide_banner -decoders | grep cuvid

内容的提问来源于stack exchange，提问作者Felipe Marra