流水线管理

不同的业务场景有不同的需求。结合业务需求，本功能支持面向整体任务开发流程构建流水线。例如在提交场景下，不同的业务侧希望上线的检查项各不相同，该场景下则可使用流水线能力，通过插件(Job)形式接入流水线中，实现不同的切合业务侧场景的内容。
每个流水线分为多个阶段(Stage)，每个阶段可以包括多个插件。插件是流水线中的每一个节点任务，由平台提供。通过 Stage 和 Job 的组合，最终实现持续集成/持续部署(CI/CD)的目的。

1 约束限制

仅租户主账号或项目管理员具备管理流水线的全部权限，其他子账号仅可查看流水线。

2 前提条件

已开通湖仓一体、分布式数据自治或 DataOps敏捷研发解决方案。详细操作说明请参见 DataLeap 服务信息。

3 操作步骤

1. 登录 DataLeap 控制台。

2. 单击左侧导航栏的项目管理，进入项目管理页面。

3. 勾选我管理的选项，显示由您管理的项目列表。

4. 单击项目列表中要管理项目操作列的任一按钮，进入项目控制台。

5. 单击左侧导航栏的流水线管理，进入流水线管理页面。

   

6. 可查看当前项目下的所有流水线信息列表，并执行以下操作：

   • 新建流水线

     单击新建流水线按钮，在弹出的创建流水线侧拉窗口中，设置相关信息后，单击确定按钮，完成流水线创建。
     新建流水线相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

     参数	说明
     *名称	流水线的名称，自行设定。 名称支持中文、字母、数字或下划线，长度不超过50个字符。
     描述	流水线的描述信息，长度不超过200个字符。
     触发对象	流水线的生效范围，支持全部任务和部分任务两个选项，默认选择全部任务。 当选择部分任务时，需设置任务类型是否属于某种类型。任务类型支持离线任务、流式任务、工作流等多个选项，下拉可选，支持选择多个。
     触发事件	是指某一个事件发生时，能够自动、定时或手动地去触发流水线的执行。支持提交选项，即开发任务提交上线时进行检查，默认选中。 目前仅支持提交事件自动执行流水线。
     *流水线配置	流水线配置包含阶段和插件两部分，需依次设置以下配置项。 Stage：流水线所处的阶段。通过单击添加Stage 按钮进行配置，支持配置多个，可按需双击编辑其名称。 插件：流水线中接入的插件，支持数仓建表规范检查和第三方电商事前检查，下拉可选。每个阶段可配置多个插件。 可选择某个应用后，进行相应的检查配置，如下： 建表规范检查 建表规范：需要引用的建表规范，下拉可选已创建的规范。 hive库：需要检查的数据库名，下拉可选当前项目下规范已生效的数据库。 电商事前检查类应用插件，举例如下，具体请以实际显示为准。 Select * 检查 spark参数检查 任务重试次数检查 说明 创建流水线时不做唯一性检查，默认触发多条流水线。若触发了多条，则在任务提交上线时的提交事前检查环节按照流水线依次展示。
     是否开启	表示流水线当前所处状态，可选择是否开启该流水线，默认处于开启状态。 开启：即代表该流水线会开启，流水线中配置的内容在符合条件的时候会自动触发。 关闭：即代表该流水线会关闭，符合条件的时候也不会触发该流水线的执行。

   • 查看流水线详情

     单击列表中某条信息的流水线名称，可以查看该流水线的详情。

   • 开启/关闭流水线

     单击列表中某条信息的状态列的开启/关闭按钮，可以关闭/开启该流水线。

   • 编辑流水线

     单击列表中某条信息操作列的编辑按钮，在编辑流水线侧拉窗口中，可以修改该流水线的信息。

   • 删除流水线

     单击列表中某条信息操作列的删除按钮，在弹出的确认删除对话框中，单击确定按钮，可删除该流水线。

4 后续操作

创建流水线后，您可以根据需要创建相应的开发任务并提交上线，届时系统将执行相应的流水线检查。相关操作说明可参见数据开发 > 概述中的提交上线。