如何退出容器与SSH后保持模型训练进程持续运行？

问题描述 #

我在AWS上进行模型训练的工作流程是：

• 通过SSH连接EC2实例
• 若Docker容器未运行则启动它
• 执行docker exec -it <container_name> bash进入容器
• 运行python train.py

遇到的问题：

• 用Ctrl+Z把Python进程挂到后台后，无法退出容器shell，进程与shell强关联
• 断开SSH（比如关机、关闭终端）后训练进程会直接终止
• 尝试python train.py &也无法解决，进程仍然会停止

常用解决方案 #

方法1：用nohup直接后台运行（最简单快捷） #

无需进入容器交互shell，直接在EC2主机上执行命令，让容器内的训练进程脱离终端控制，断开SSH也能持续运行：

docker exec <container_name> nohup python train.py > train.log 2>&1 &

• nohup：核心作用是让进程摆脱终端的控制依赖，即使SSH连接断开也能继续执行
• > train.log 2>&1：将训练的标准输出和错误输出全部写入train.log文件，方便后续查看训练日志
• 执行完命令即可直接断开SSH，不需要留在终端等待

如果已经进入容器交互shell，也可以直接在容器内执行：

nohup python train.py > train.log 2>&1 &

执行后直接输入exit退出容器，再断开SSH即可

方法2：用screen/tmux（适合需要后续交互的场景） #

如果需要后续重新连接到训练进程的终端（比如查看实时输出、临时调整参数），用screen或tmux这类终端复用工具更合适：

以tmux为例的操作步骤：

1. 在EC2主机上安装tmux（未安装时执行）：

sudo apt install tmux  # Ubuntu/Debian系统
sudo yum install tmux  # CentOS/RHEL系统

2. 启动一个专属的tmux会话：

tmux new -s train_session

3. 在这个会话内正常进入容器并启动训练：

docker exec -it <container_name> bash
python train.py

4. 按Ctrl+B松开后再按D，即可将tmux会话挂到后台，此时可以正常断开SSH
5. 下次重新连接EC2后，用命令回到训练会话：

tmux attach -t train_session

screen的用法类似：启动会话用screen -S train_session，挂后台用Ctrl+A后按D，重新连接用screen -r train_session

方法3：修改Docker启动命令（长期固定训练场景） #

如果这个容器是专门用于跑训练任务的，可以在启动容器时直接把训练命令设置为后台执行，无需每次手动进入容器：

docker run -d --name <container_name> <image_name> nohup python train.py > train.log 2>&1

• -d：让容器直接在后台运行
• 容器启动后自动执行训练进程，断开SSH完全不影响，后续可以用docker logs <container_name>查看训练日志

内容的提问来源于stack exchange，提问作者corazza