如何在同一Docker环境中兼容tensorflow-gpu与cudf？

方案1：单容器内创建独立虚拟环境隔离依赖 #

• 基于nvidia/cuda:11.5.2-cudnn8-runtime-ubuntu20.04基础镜像构建，避免rapidsai-devel的冗余组件
• 创建两个独立Python虚拟环境，分别安装TensorFlow-GPU和cuDF，彻底规避包冲突
• 示例Dockerfile：

FROM nvidia/cuda:11.5.2-cudnn8-runtime-ubuntu20.04

# 安装基础依赖
RUN apt-get update && apt-get install -y --no-install-recommends \
    python3 python3-pip python3-venv \
    && rm -rf /var/lib/apt/lists/*

# 构建TensorFlow环境
RUN python3 -m venv /opt/tf-env
RUN /opt/tf-env/bin/pip install --upgrade pip && \
    /opt/tf-env/bin/pip install tensorflow-gpu==2.10.0

# 构建cuDF环境
RUN python3 -m venv /opt/cudf-env
RUN /opt/cudf-env/bin/pip install --upgrade pip && \
    /opt/cudf-env/bin/pip install cudf-cu11==22.10.0

# 添加终端切换别名
RUN echo 'alias activate-tf="source /opt/tf-env/bin/activate"' >> ~/.bashrc
RUN echo 'alias activate-cudf="source /opt/cudf-env/bin/activate"' >> ~/.bashrc

• 使用方式：启动容器后，在终端输入activate-tf或activate-cudf切换环境，VS Code也可在Python解释器中选择对应虚拟环境

方案2：手动锁定兼容的Protobuf版本 #

• 核心冲突来自Protobuf版本不兼容，先确认TensorFlow与cuDF的兼容版本区间：
  • TensorFlow 2.10.x依赖Protobuf 3.20.x
  • cuDF 22.10版本支持Protobuf 3.20.x
• 直接用pip安装并强制指定兼容版本，跳过conda的慢依赖解析：

pip install tensorflow-gpu==2.10.0 protobuf==3.20.3 cudf-cu11==22.10.0

• 注意：安装前需清理原有环境的冲突包（如pip uninstall -y protobuf tensorflow-gpu cudf-cu11）

方案3：Docker Compose拆分独立服务 #

• 将TensorFlow和cuDF分别部署在两个容器中，通过共享工作区卷实现数据互通
• 示例docker-compose.yml：

version: '3.8'
services:
  tf-container:
    image: nvidia/cuda:11.5.2-cudnn8-runtime-ubuntu20.04
    command: sleep infinity
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: [gpu]
    volumes:
      - ./dev-workspace:/workspace
    working_dir: /workspace

  cudf-container:
    image: rapidsai/rapidsai-core:22.10-cuda11.5-runtime-ubuntu20.04
    command: sleep infinity
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: [gpu]
    volumes:
      - ./dev-workspace:/workspace
    working_dir: /workspace

• 使用方式：通过VS Code Remote-Containers扩展分别连接两个容器，共享同一工作目录，按需切换开发环境

内容的提问来源于stack exchange，提问作者Jason Leaver