使用Google Life Sciences执行器时如何限制Nextflow并发worker数量

你之前使用的全局executor配置对Google Life Sciences（GLS）执行器不生效，是因为该配置属于全局默认规则，优先级低于执行器专属配置，GLS执行器需要明确指定作用域才能命中配置。

正确配置方法 #

全局GLS执行器并发限制 #

在nextflow.config中使用以下配置即可限制全局GLS worker并发数不超过设定值：

executor {
    name = 'gls'
    queueSize = 100
}

你也可以将配置写到GLS专属作用域下，效果完全一致：

gls {
    executor.queueSize = 100
}

可选补充配置 #

如果出现并发数仍有少量超出的情况，是因为Nextflow为了避免执行侧资源空闲，默认允许少量提交浮动。需要严格控制上限的话，可以额外添加提交速率限制参数：

executor {
    name = 'gls'
    queueSize = 100
    submitRateLimit = '10/sec'
}

单进程独立并发限制 #

如果需要给某个特定进程设置更低的并发上限，可以在进程配置中单独指定maxForks参数：

process your_target_process {
    executor 'gls'
    maxForks = 20
    // 其余进程配置
}

内容的提问来源于stack exchange，提问作者r0f1