能否仅用Docker在运行时自动创建承载用户提交Python脚本的容器？

我正在开发一款允许用户提交Python脚本的应用，这些脚本包含语言模型（LMs），用于计算特定指标。出于可扩展性和安全性考虑，我计划将这些脚本部署在Docker容器中，使其作为“黑盒”接收输入并返回输出，无需应用知晓容器内部逻辑。

目前我仅需完成概念验证，原本以为Docker支持手动及自动创建容器，但搜索后存疑。我了解到Kubernetes，但不确定是否需要它。我的问题是：能否仅使用Docker实现该需求，还是必须学习Kubernetes这类工具？

补充背景 #

• 曾考虑用Python程序直接调用提交的代码，但不知道如何处理脚本依赖包的安装；
• 语言模型需要持续加载运行，如果通过脚本调用的方式，每次调用都要重新加载模型，耗时太长；
• 我已有可自动安装依赖并容器化提交脚本的docker-compose.yml文件，但目前只能手动运行。

容器化相关代码 #

Dockerfile（用于创建语言模型与服务器的中间件容器，自动安装模型依赖）

FROM python:3.9

WORKDIR /usr/app/src

COPY communicator.py ./
COPY lm_submission.py ./
COPY requirements.txt ./
RUN pip3 install -r requirements.txt

docker-compose.yml（手动创建服务器与中间件容器，chatGPT_roberta_model是随模型名称变化的变量，理论上需要多个中间件容器运行不同语言模型）

version: '3.9'

services:
  communicator:
    build: .
    command: sh -c "sleep 2s; python3 ./communicator.py chatGPT_roberta_model"
    environment:
      LISTEN_HOST: server
      LISTEN_PORT: 5555
    ports:
      - '5556:5555'
    depends_on:
      - server

  server:
    build: ./server/
    command: sh -c "python3 ./server.py"
    environment:
      SEND_HOST: server
      SEND_PORT: 5555
    ports:
      - '5555:5555'

完全可以只用Docker搞定你的概念验证，甚至初期小规模场景也够用，没必要急着学Kubernetes。具体实现思路和建议如下：

一、核心实现方案（仅用Docker） #

1. 自动构建启动容器 #

不用手动维护docker-compose，你可以通过两种方式自动化容器创建流程：

• 用Docker SDK for Python：直接在你的应用代码里调用Docker API，完成镜像构建、容器启动、环境变量配置、网络设置等操作，比手动敲命令更可控；
• 动态生成配置脚本：针对每个用户提交的脚本，动态生成临时Dockerfile（如果需要调整基础镜像）和容器启动参数，比如给不同模型分配唯一标识、自动处理端口映射避免冲突。

2. 解决依赖与模型加载痛点 #

你的现有Dockerfile已经能自动处理依赖安装，容器化本身也完美解决模型重复加载的问题：

• 容器启动时就把模型加载到内存，后续处理请求直接复用，不用每次调用都重新加载；
• 只要用户提交的脚本附带正确的requirements.txt，Docker的pip install步骤就能自动安装所有依赖，比直接调用Python脚本更隔离、更可靠。

3. 多容器管理替代手动docker-compose #

如果要运行多个模型容器，不用依赖手动编写docker-compose：

• 用Docker SDK或者shell脚本批量创建容器，所有服务器和中间件容器加入同一个自定义Docker网络，服务器通过容器名直接和中间件通信，不用暴露端口到宿主机，既安全又避免端口冲突；
• 比如创建一个名为lm-network的自定义网络，后续所有相关容器都加入这个网络，服务器直接用communicator-xxx这类容器名访问对应模型容器。

二、什么时候需要考虑Kubernetes？ #

只有当你的应用规模达到以下场景时，才需要引入Kubernetes：

• 需要同时运行数十甚至上百个模型容器，需要自动调度、负载均衡；
• 需要容器故障自动恢复、根据请求量弹性伸缩；
• 需要复杂的服务发现、配置管理或者持久化存储方案。
  对于概念验证和初期小规模使用，Docker完全足够。

三、优化建议 #

• 避免端口冲突：不要固定映射宿主机端口，让Docker自动分配随机端口，或者用自定义网络内部通信，服务器通过容器名访问中间件；
• 镜像缓存优化：如果多个用户脚本依赖相同的Python版本或基础库，提前构建一个通用基础镜像，后续构建用户脚本镜像时基于这个基础镜像，减少构建时间；
• 资源限制：给每个模型容器设置CPU和内存上限，防止单个容器占用过多资源拖垮整个系统；
• 生命周期管理：用户提交新脚本版本时，自动停止旧容器、删除旧镜像，避免资源浪费。

内容的提问来源于stack exchange，提问作者Xela10001