能否通过Docker容器替换底层文件系统，实现Lustre环境下用Bazel构建TensorFlow？

当然可以！Docker的容器化特性正好能帮你绕开Lustre文件系统不支持锁的限制——容器内部默认使用的文件系统（比如overlay2、devicemapper）都是支持标准文件锁的，完全能满足Bazel的运行需求。下面是具体的实现思路和步骤：

核心原理 #

Bazel运行时依赖文件锁来管理构建状态和缓存，而Lustre恰好缺失这个功能。Docker容器会为每个实例创建独立的文件系统环境，这个环境不直接依赖宿主机的Lustre，所以在容器内部执行Bazel构建时，锁操作会由容器自身的文件系统处理，完美避开Lustre的限制。

具体操作步骤 #

1. 选择适配的基础镜像 #

因为你的集群是CentOS 6.6，优先选择centos:6作为基础镜像，这样能最大程度保证环境兼容性。注意CentOS 6已经停止官方维护，需要调整镜像内的软件源为归档源（比如vault.centos.org），否则无法安装依赖。

2. 构建自定义容器镜像（可选但推荐） #

为了避免每次都重复安装依赖，你可以提前构建一个包含Bazel、Python、编译工具的自定义镜像。示例Dockerfile如下：

FROM centos:6

# 替换为CentOS 6归档源
RUN sed -i 's/^mirrorlist/#mirrorlist/g' /etc/yum.repos.d/*.repo && \
    sed -i 's/^#baseurl=http:\/\/mirror.centos.org/baseurl=http:\/\/vault.centos.org/g' /etc/yum.repos.d/*.repo

# 安装基础编译工具和依赖
RUN yum install -y gcc gcc-c++ make python-devel wget unzip

# 安装适配CentOS 6的Bazel版本（比如0.28.1，新版本不再支持CentOS 6）
RUN wget https://github.com/bazelbuild/bazel/releases/download/0.28.1/bazel-0.28.1-installer-linux-x86_64.sh && \
    chmod +x bazel-0.28.1-installer-linux-x86_64.sh && \
    ./bazel-0.28.1-installer-linux-x86_64.sh && \
    rm bazel-0.28.1-installer-linux-x86_64.sh

构建镜像命令：

docker build -t centos6-bazel .

3. 运行容器并执行构建 #

运行容器时，注意不要把Bazel的工作目录或缓存目录放在Lustre挂载点上，可以把Lustre上的TensorFlow代码挂载到容器内，然后复制到容器内部的文件系统目录再构建：

# 挂载Lustre上的TensorFlow代码到容器的/code目录，工作目录设为容器内的/tmp/build
docker run -it --rm -v /lustre/path/to/tensorflow:/code centos6-bazel bash

# 在容器内部执行：
cd /tmp/build
cp -r /code/* .
# 执行Bazel构建命令，比如构建pip包
bazel build //tensorflow/tools/pip_package:build_pip_package

4. 优化构建效率（可选） #

• 复用Bazel缓存：把Bazel的缓存目录（默认~/.cache/bazel）挂载到宿主机的非Lustre目录，这样下次构建可以直接复用缓存：

  docker run -it --rm -v /lustre/path/to/tensorflow:/code -v /host/non-lustre/path/bazel-cache:/root/.cache/bazel centos6-bazel bash
  

• 分配资源：如果集群资源紧张，用--cpus和--memory参数限制容器的资源使用，比如--cpus=4 --memory=8g。

注意事项 #

• 确认宿主机的Docker版本支持CentOS 6镜像：CentOS 6的内核较老，建议使用Docker 19.03系列（最后支持CentOS 6的Docker版本），避免兼容性问题。
• TensorFlow版本适配：选择适配Bazel 0.28.1和CentOS 6的TensorFlow版本，比如TensorFlow 1.15.x，新版本可能不再支持老环境。

内容的提问来源于stack exchange，提问作者Joy Chopra