使用SLURM执行器的Snakemake夜间运行报错slurm_persist_conn_open_without_init

当我使用集群配置文件运行Snakemake并让其夜间持续运行时，无论是通过screen进程还是nohup snakemake ... &后台执行，所有正在运行的规则/任务都会出现以下错误：

The job status query failed with command: sacct -X --parsable2 --noheader --format=JobIdRaw,State --starttime 2024-06-06T03:00 --endtime now --name jobname1
Error message: sacct: error: slurm_persist_conn_open_without_init: failed to open persistent connection to host:hostname: Connection refused
sacct: error: Sending PersistInit msg: Connection refused
sacct: error: Problem talking to the database: Connection refused

The job status query failed with command: sacct -X --parsable2 --noheader --format=JobIdRaw,State --starttime 2024-06-06T03:00 --endtime now --name jobname2
Error message: sacct: error: slurm_persist_conn_open_without_init: failed to open persistent connection to host:hostname: Connection refused
sacct: error: Sending PersistInit msg: Connection refused
sacct: error: Problem talking to the database: Connection refused

The job status query failed with command: sacct -X --parsable2 --noheader --format=JobIdRaw,State --starttime 2024-06-06T03:00 --endtime now --name jobname3
Error message: sacct: error: slurm_persist_conn_open_without_init: failed to open persistent connection to host:hostname: Connection refused
sacct: error: Sending PersistInit msg: Connection refused
sacct: error: Problem talking to the database: Connection refused

环境版本信息：

• Snakemake版本：8.11.0
• Snakemake SLURM执行器插件版本：0.5.0

用于运行Snakemake的SLURM插件配置文件如下：

executor: slurm
jobs: 20
retries: 3
rerun-incomplete: true

rerun-triggers:
- mtime

resources:
- threads=150
- mem_mb=350000

default-resources:
- slurm_account=my-acct
- slurm_partition=my-partition
- mem_mb=8000*attempt
- tmpdir="/path/to/my/tmpdir"

set-resources:
  big_rule: &id001
    mem_mb: 64000*attempt
  another_big_rule: *id001
  more_big_rule: *id001

值得注意的是，该错误已多次出现，且总是在次日凌晨3:00触发，错误命令中的--starttime 2024-06-06T03:00也印证了这一点。

另外，HPC团队的IT人员提到他们使用screen运行的Nextflow夜间工作流可正常执行，我尝试此方法后仍遇到相同错误。

• 在同一HPC的高资源交互式节点上使用“local”配置文件运行相同工作流，确认工作流在非SLURM环境下可正常完成。
• 查到GitHub上某次提交显示该问题在Snakemake SLURM执行器插件0.1.3版本中已修复，但我使用更高版本仍存在此问题。

为高效沟通并尊重HPC团队的时间，想请教：该问题更可能由Snakemake导致，还是与机构HPC配置及Snakemake的交互方式有关？是否有其他信息可帮助定位问题？

内容的提问来源于stack exchange，提问作者Joshua Mincer