如何拦截运行中的Python脚本并在其上下文执行命令以保存ML模型权重？

前提条件 #

Ubuntu默认的Python3版本完全支持这种操作，仅需确保系统安装了gdb（Ubuntu默认已预装，若缺失可通过sudo apt install gdb安装）；如果遇到符号缺失问题，再安装对应版本的Python调试包，比如针对Ubuntu22.04默认的Python3.10，执行sudo apt install python3.10-dbg即可。

具体步骤 #

1. 获取目标Python进程的PID
   在终端执行命令定位正在运行的ML脚本进程：

   ps aux | grep python3
   

   从输出里找到对应脚本的进程PID（通常是CPU占用率最高的那个，模型训练会持续占用计算资源），或者用更精准的命令：

   pgrep -f "your_script_name.py"
   

2. 用gdb附加到目标进程
   执行以下命令附加到进程（替换<PID>为实际进程ID）：

   gdb -p <PID>
   

   此时目标Python进程会暂停运行，进入gdb交互环境。

3. 在进程上下文执行保存权重的代码
   在gdb提示符下调用Python解释器的PyRun_SimpleString函数，直接执行保存命令：

   call PyRun_SimpleString("model_seq.save_weights(\"./model_weights\")")
   

   如果脚本依赖的模块不在默认路径，可扩展命令确保环境正确：

   call PyRun_SimpleString("import sys; sys.path.insert(0, \"/path/to/your/script/directory\"); model_seq.save_weights(\"./model_weights\")")
   

   执行后若gdb返回$1 = 0，说明代码执行成功；返回非0值则需检查命令语法或全局变量是否存在。

4. 恢复进程运行并退出gdb
   执行以下命令解除gdb对进程的附加，让脚本继续运行：

   detach
   

   随后退出gdb：

   quit
   

注意事项 #

• 确保指定的保存路径对目标进程有写入权限，建议使用绝对路径避免路径混乱；
• 如果PyRun_SimpleString函数提示未找到，说明当前Python二进制文件缺少调试符号，安装对应版本的python3.x-dbg包后重试即可；
• 操作过程中进程会短暂暂停，训练进度不会丢失，解除附加后会继续执行。

内容的提问来源于stack exchange，提问作者AnArrayOfFunctions