Pyro4提交Slurm任务时如何无手动中断关闭名称服务器？

问题背景 #

当前Pyro开发已转向Pyro5，但Pyomo包仍依赖Pyro4。在提交Slurm任务时，进程包含名称服务器、调度服务器及多个求解器服务器，其中调度服务器和求解器服务器可通过proxy.shutdown() + proxy._pyroRelease()正常终止，但名称服务器无法自动关闭——终端中可通过Ctrl+C强制关闭，但Slurm任务里只能用scancel手动取消，这阻碍了多任务数组的提交。

尝试过以下代码终止名称服务器，但因proxy无对应方法报错：

ns = Pyro.locateNS() 
uri = ns.lookup("Pyro.NameServer")
proxy = Pyro.Proxy(uri)

proxy.shutdown() # 也尝试过proxy._shutdown()和proxy._pyroshutdown()
proxy._pyroRelease()

可行解决方案 #

方法1：记录PID并发送SIGINT信号终止 #

Pyro4名称服务器未提供远程关闭API，可通过记录其PID，在任务结束前发送与Ctrl+C等效的SIGINT信号：

1. 启动名称服务器时保存PID到文件：

   python -m Pyro4.naming &
   echo $! > ns_pid.txt
   

2. 任务结束前读取PID并发送信号：

   import os
   with open("ns_pid.txt", "r") as f:
       ns_pid = int(f.read().strip())
   os.kill(ns_pid, 2)  # 2对应SIGINT信号
   

   或用bash命令直接执行：

   kill -INT $(cat ns_pid.txt)
   

方法2：Python代码内启动并直接控制生命周期 #

如果通过Python脚本启动名称服务器，可保留服务器对象并调用close()方法直接关闭：

import Pyro4.naming

# 启动名称服务器
ns_daemon, ns_uri = Pyro4.naming.startNS()

# 执行调度、求解等任务逻辑...

# 任务完成后关闭名称服务器
ns_daemon.close()

这种方式无需远程调用，适合在同一脚本中管理所有进程的场景。

方法3：利用Slurm任务清理机制 #

在Slurm脚本中添加清理逻辑，确保任务结束时终止名称服务器：

#!/bin/bash
#SBATCH ... # 你的Slurm参数

# 启动名称服务器并记录PID
python -m Pyro4.naming &
NS_PID=$!

# 启动调度服务器、求解器服务器及任务逻辑...

# 任务结束后发送SIGINT信号并等待进程退出
kill -INT $NS_PID
wait $NS_PID

也可通过--signal=SIGINT@30参数让Slurm在任务结束前30秒自动发送SIGINT信号，触发名称服务器正常退出。

注意事项 #

• 发送信号后需用wait命令等待进程退出，避免Slurm任务提前结束导致名称服务器残留
• 禁止使用kill -9（SIGKILL）强制终止，否则Pyro4无法清理资源，可能留下无效套接字文件
• 记录PID时确保文件路径正确，避免跨进程读取失败

内容的提问来源于stack exchange，提问作者Abodh Poudyal