Tensorflow Serving无法找到模型：Docker镜像运行故障求助

核心错误分析 #

你的Dockerfile存在几个致命问题：

• 在Dockerfile中使用RUN docker run完全错误：RUN是镜像构建阶段执行的命令，此时构建容器内的Docker进程无法访问宿主机文件系统，这种嵌套启动容器的方式完全不符合镜像构建逻辑，挂载的路径在最终运行镜像时根本不存在。
• 未正确配置TensorFlow Serving的模型路径：TensorFlow Serving默认会查找/models/model路径，你指定的模型目录是/models/upgrade_rate_predictions，但没有在镜像启动时传递正确的环境变量或启动参数覆盖默认路径。

正确的Dockerfile写法 #

你不需要在镜像里安装Docker，直接基于tensorflow/serving镜像，选择以下两种方案之一：

方案1：将模型打包进镜像（适合模型固定的场景） #

FROM tensorflow/serving:latest

# 将本地模型复制到镜像内的指定路径
COPY /home/serving/tensorflow_serving/servables/tensorflow/tmp/monitored/upgrade_rate_predictions /models/upgrade_rate_predictions

# 设置环境变量指定模型名称，覆盖默认的model
ENV MODEL_NAME=upgrade_rate_predictions

方案2：运行时挂载模型目录（适合模型需要更新的场景） #

直接用你本地能正常运行的命令启动即可，无需额外构建镜像：

docker run -p 8501:8501 \
    --mount type=bind,source=/home/serving/tensorflow_serving/servables/tensorflow/tmp/monitored/upgrade_rate_predictions,target=/models/upgrade_rate_predictions \
    -e MODEL_NAME=upgrade_rate_predictions \
    -t tensorflow/serving

如果一定要构建镜像封装启动参数，用CMD替代RUN：

FROM tensorflow/serving:latest

# 设置默认模型名称
ENV MODEL_NAME=upgrade_rate_predictions

# 覆盖默认启动命令，指定模型路径
CMD ["tensorflow_model_server", "--port=8500", "--rest_api_port=8501", "--model_name=${MODEL_NAME}", "--model_base_path=/models/${MODEL_NAME}"]

运行时挂载模型目录：

docker run -p 8501:8501 \
    --mount type=bind,source=/home/serving/tensorflow_serving/servables/tensorflow/tmp/monitored/upgrade_rate_predictions,target=/models/upgrade_rate_predictions \
    -t your-custom-image-name

无效原因说明 #

1. RUN指令在构建阶段执行，此时挂载的source路径是构建容器内的路径，而非宿主机路径，构建完成后该挂载不会保留到最终运行的容器中。
2. 构建容器内启动的TensorFlow Serving容器，在镜像构建完成后不会继续运行，最终启动镜像时，默认的TensorFlow Serving进程会尝试访问不存在的/models/model路径，因此报错。

内容的提问来源于stack exchange，提问作者Roland Wang