You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

流水线管理

最近更新时间2023.01.06 10:44:58

首次发布时间2023.01.05 23:32:32

不同的业务场景有不同的需求。结合业务需求,本功能支持面向整体任务开发流程构建流水线。例如在提交场景下,不同的业务侧希望上线的检查项各不相同,该场景下则可使用流水线能力,通过插件(Job)形式接入流水线中,实现不同的切合业务侧场景的内容。
每个流水线分为多个阶段(Stage),每个阶段可以包括多个插件。插件是流水线中的每一个节点任务,由平台提供。通过 Stage 和 Job 的组合,最终实现持续集成/持续部署(CI/CD)的目的。

1 约束限制

仅租户主账号或项目管理员具备管理流水线的全部权限,其他子账号仅可查看流水线。

2 前提条件

已开通湖仓一体分布式数据自治DataOps敏捷研发解决方案。详细操作说明请参见 DataLeap 服务信息

3 操作步骤

  1. 登录 DataLeap 控制台。

  2. 单击左侧导航栏的项目管理,进入项目管理页面。

  3. 勾选我管理的选项,显示由您管理的项目列表。

  4. 单击项目列表中要管理项目操作列的任一按钮,进入项目控制台

  5. 单击左侧导航栏的流水线管理,进入流水线管理页面。

    alt

  6. 可查看当前项目下的所有流水线信息列表,并执行以下操作:

    • 新建流水线

      单击新建流水线按钮,在弹出的创建流水线侧拉窗口中,设置相关信息后,单击确定按钮,完成流水线创建。
      新建流水线相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

      参数说明

      *名称

      流水线的名称,自行设定。
      名称支持中文、字母、数字或下划线,长度不超过50个字符。

      描述流水线的描述信息,长度不超过200个字符。

      触发对象

      流水线的生效范围,支持全部任务和部分任务两个选项,默认选择全部任务。
      当选择部分任务时,需设置任务类型是否属于某种类型。任务类型支持离线任务、流式任务、工作流等多个选项,下拉可选,支持选择多个。

      触发事件

      是指某一个事件发生时,能够自动、定时或手动地去触发流水线的执行。支持提交选项,即开发任务提交上线时进行检查,默认选中。
      目前仅支持提交事件自动执行流水线。

      *流水线配置

      流水线配置包含阶段和插件两部分,需依次设置以下配置项。

      1. Stage:流水线所处的阶段。通过单击添加Stage 按钮进行配置,支持配置多个,可按需双击编辑其名称。

      2. 插件:流水线中接入的插件,支持数仓建表规范检查和第三方电商事前检查,下拉可选。每个阶段可配置多个插件。
        可选择某个应用后,进行相应的检查配置,如下:

        • 建表规范检查

          • 建表规范:需要引用的建表规范,下拉可选已创建的规范。

          • hive库:需要检查的数据库名,下拉可选当前项目下规范已生效的数据库。

        • 电商事前检查类应用插件,举例如下,具体请以实际显示为准。

          • Select * 检查

          • spark参数检查

          • 任务重试次数检查

      说明

      创建流水线时不做唯一性检查,默认触发多条流水线。若触发了多条,则在任务提交上线时的提交事前检查环节按照流水线依次展示。

      是否开启

      表示流水线当前所处状态,可选择是否开启该流水线,默认处于开启状态。

      • 开启:即代表该流水线会开启,流水线中配置的内容在符合条件的时候会自动触发。

      • 关闭:即代表该流水线会关闭,符合条件的时候也不会触发该流水线的执行。

    • 查看流水线详情

      单击列表中某条信息的流水线名称,可以查看该流水线的详情。

    • 开启/关闭流水线

      单击列表中某条信息的状态列的开启/关闭按钮,可以关闭/开启该流水线。

    • 编辑流水线

      单击列表中某条信息操作列的编辑按钮,在编辑流水线侧拉窗口中,可以修改该流水线的信息。

    • 删除流水线

      单击列表中某条信息操作列的删除按钮,在弹出的确认删除对话框中,单击确定按钮,可删除该流水线。

4 后续操作

创建流水线后,您可以根据需要创建相应的开发任务并提交上线,届时系统将执行相应的流水线检查。相关操作说明可参见数据开发 > 概述中的提交上线