如何终止指定GPU（0、6、7）上的Transformer模型训练进程？

方法1：通过nvidia-smi定位目标GPU的PID #

执行命令查看GPU及对应进程：

nvidia-smi

在输出的Processes板块中，可直接看到每个GPU编号对应的进程PID、进程名等信息。筛选出GPU 0、6、7对应的PID后，执行终止命令：

# 优先尝试温和终止进程
kill <目标PID>
# 若进程无响应，再强制终止
kill -9 <目标PID>

方法2：用nvidia-smi pmon实时监控GPU进程 #

该命令会实时刷新GPU进程状态，便于快速定位：

nvidia-smi pmon -s u

参数-s u用于显示GPU使用率，输出中gpu列对应GPU编号，pid列为进程ID。找到目标GPU的PID后执行kill命令即可。

方法3：使用gpustat工具（更直观） #

先安装工具：

pip install gpustat

执行命令查看GPU进程详情：

gpustat

输出会清晰展示每个GPU的资源占用情况，以及运行在该GPU上的进程PID、用户、进程名。找到0、6、7号GPU对应的PID后，执行终止命令即可。

针对accelerate启动场景的额外提示 #

你通过notebook_launcher启动训练时会生成多个子进程，可通过上述方法找到所有关联0、6、7卡的PID逐一终止；也可通过以下命令找到启动脚本的主进程PID，终止主进程后子进程通常会自动退出：

ps aux | grep AccelerateTrainer.py

内容的提问来源于stack exchange，提问作者Mohammed