You need to enable JavaScript to run this app.
导航

工作流

最近更新时间2024.01.24 11:57:21

首次发布时间2022.10.30 09:50:22

工作流(Workflow),是由多个连接步骤组成的一组指令,通常用于自动化的批量处理数据,可用于生物信息分析流程,Bio-OS的分析流程支持WDL描述语言,在工作流页面中,您可以选择本地导入、Git导入及TRS资源导入。导入后,即可发起计算分析。

工作流导入

Bio-OS目前提供三种导入工作流的方式

本地导入

平台支持将本地的WDL文件或者文件夹导入到平台内,当您选择上传是文件夹时,需要手动指定主文件,作为WDL文件的入口。


Git导入

选择Git导入,输入工作流名称,git地址,git项目tag和token,主工作流路径,简短描述。完成后点击确定。

Git 地址: 在这里需要输入git的项目的主地址,后面不要带有分支内容。

Git tag:在git中,标签用于指定某一次具体的提交,以github为例,选择分支可以看到您所需要的当前标签。如果没有tag也可以填写分支的名称。

Git token: github在 2021.8.13 移除了密码认证的支持,它建议使用 personal access token 代替密码认证, 您可以在左侧设置中找到Access Token并复制到参数中

Git主工作流路径: 您可以找到您所需要导入工作流的文件,并点击复制按钮,直接将当前文件的路径复制到输入参数中


CallCaching: 开启后会在之前运行的任务的缓存中搜索具有完全相同的命令和完全相同的输入的任务。 如果缓存命中,将使用前一个任务的结果而不是重新运行,从而节省时间和资源。

TRS导入

平台兼容GA4GH推出的TRS规范,能够将TRS Server内的资源通过TRS API导入到平台内。您需要在工作流仓库内复制TRS ID填入到TRS导入表单中,然后检查名称、描述以及选择指定版本,最后点击导入。

比如在如下的dockstore的workflow中复制TRS ID ![](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_bb2eb3710e86a8cf5e9a5c04e303715d.png)

配置工作流输入

要在Bio-OS上运行工作流,您需要指定所有必需的工作流输入变量。

  1. 选择实体数据模型,并选择数据。

  2. 配置输入参数

点击输入参数选项卡,配置输入属性值。属性是与工作流中的输入变量相对应的整数、字符串或文件。您将通过选择填写设置表单中所有必需变量的属性字段来指定输入。您可以手动输入或者用this来指定数据模型中的参数,又或者使用JSON来进行属性字段的输入。

一些常见的属性格式举例: 整数 - 50 字符串 - string
数组(用逗号隔开) - [string1 ,string2]
文件路径 - S3://analysis /sc94ra7leig43voqu4vlg /CramToBamFlow /5d915601-75c3-493b-9c7d-d136c9f9a296 /call-CramToBamTask /execution/script


如何将输出文件元数据写入输入数据表

**为什么要将输出写入数据表?**写入数据表可以将工作流的输出与输入数据文件相关联(输出文件与表中的输入文件一起写入),并有助于以对您有意义的方式组织输出。它还使使用数据进行下游分析变得容易。

  1. 转到输出参数选项卡。

  2. 对于每个输出变量,单击属性值字段。您将看到一个下拉列表,其中列出了运行选项中所选的实体数据模型中存在的所有列。

  3. 选择现有列或输入新名称以将新数据列添加到表中。 如果原表格中没有此列则按照列名新加列;如果原表格有对应的列,则会将直接将新结果进行填充或覆盖



使用Json设置输入输出参数

什么是 JSON?

点击输入参数或者输出参数选项卡时,可以选择下载JSON文件,编辑后可以上传 JSON 文件以设置工作流输入或者输出

对于不同的工作流,当您想在工作流配置中使用相同的输入时,它会派上用场。例如,如果您创建一个新配置,通常您每次都必须手动输入所有输入,即使此新配置将使用许多与现有配置相同的输入。现在,您可以将先前配置中的输入作为 JSON 下载并上传以填充新配置。

如何在工作流中使用GPU规格

目前Bio-OS已经支持通过在WDL的runtime中配置gpu参数来将任务调度到GPU的实例规格中,目前在Bio-OS所支持的GPU显卡类型共有2种,分别是:

显卡类型gpuType
T4(单卡16G显存)"Tesla-T4"
V100 (单卡32 GB显存)"Tesla-V100"
A30 (单卡24 GB显存)"NVIDIA-A30"
A100 (单卡80 GB显存)"Tesla-A100-80G"

runtime中配置方式举例如下,其中gpuType参数需匹配上面的表格中的字符:

runtime {
        gpuType : "Tesla-T4"
        gpuCount : 1
    }

使用GPU过程中,不同的卡类型会有固定的cpu及内存规格,如您固定了gpu卡的类型,那您设置的cpu和内存将会向上取整以以下规格启动。

GPU卡类型gputypeGPU卡数量gpuCountcpumem

T4

"Tesla-T4"

1

1

4

16

11826
111664
221652
2232128
4432104
4464256
4484342

A30

"NVIDIA-A30"

1

1

28

234

2256468
44112936