You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

数据开发界面功能指引

最近更新时间2023.06.25 19:11:59

首次发布时间2023.02.01 13:39:20

本文为您介绍 DataLeap 数据开发的整体功能界面,方便您快速熟悉数据开发的功能布局,了解各功能按钮以及模块的使用。

1 界面总览

序号功能

1

全部产品入口,单击图标即可选择其他模块进入。

  • 数据研发

    • 数据开发:一体化集成批式、流式数据开发能力,提供一站式全链路研发体验。

    • 数据服务:面向表、指标等数据资产,提供API创建、发布、共享、管理和运维的全生命周期管理能力,统一数据服务出口,实现数据应用价值最大化。

  • 数据资产

    • 数据地图:收集和展示全链路元数据,帮助数据消费者解决找、理解、应用数据难的痛点,提升数据价值。

    • 指标平台:集成指标管理,指标计算,指标应用,解决指标定义、生产、出口的一致性问题。

  • 数据治理

    • 数据安全:数据权限的控制、风险与审计、数据保护,全方位保障大数据资产安全。

    • 数据质量:提供数据探查、数据监控与数据对比能力,保障数据质量。

    • SLA治理:提供SLA在线化申报与签署,并通过多种治理保障措施,协同提高全链路数据质量。

2

数据开发模块快速入口:

  • 任务开发:可基于不同的引擎支持,创建不同的任务类型进行数据开发,支持在该模块下进行作业开发环境调试工作。

  • 发布中心:在发布中心界面下管理已提交的作业,您可通过创建发布包功能,将作业发布至生产环境中运行。

  • 运维中心:可从该入口,快速进入离线/流式任务运维,实现对已上线任务进行管理运维。

3

切换项目区域及工作空间:
该部分为您展示了当前登录的数据开发项目空间名称和所处的区域,您可单击下拉图标,切换至其他项目空间。

4

项目控制台:
单击进入当前项目的项目控制台,进行项目的配置信息、成员信息、复查配置、数据源管理等项目信息查看与配置。详见项目管理

5搜索各引擎的数据表信息,您可通过输入表名称或关键字,跳转前往数据地图进行搜索。

6

左侧导航栏,可展示以下对应功能按钮:

  • 数据开发:可基于不同的引擎支持,创建不同的任务类型进行数据开发,支持在该模块下进行作业开发环境调试工作。

  • 临时查询:用于进行临时简单的数据查询工作。

  • 任务模板:提供便捷式创建任务,减少重复代码建设和常用代码的运维成本,提升开发效率。

  • 数据库:展现数据库表信息,对使用到的 Hive 表字段、分区信息及数据进行预览。

  • 资源库:支持上传本地资源,供复杂类型作业开发使用,您可在资源库中管理您上传的资源。

  • 函数库:提供引擎的公共函数;也可结合资源,自定义创建 UDF\UDTF\UDAF 函数。

  • 回收站:用户管理存放在数据开发中删除的节点任务。

7

数据开发模块,通过目录树的方式,对各个作业文件夹、任务节点类型进行管理,在此,您可以进行以下操作:

  • 创建子目录:根据不同业务场景,您可以为不同任务类型的节点创建属于自己的文件夹目录。

  • 新建任务:用于快速创建各种任务类型的节点。

  • 搜索任务:支持根据节点名称关键字、责任人等信息进行任务搜索。

  • 更多操作:

    • 批量操作:用于快速对任务进行批量修改标签、复制和移动任务等操作)。
8主题设置:数据开发 Studio 个性化设置,根据自身喜好,设置主界面风格和编辑器设置。
9作业编辑区,不同任务类型的编辑区不同,具体详见数据开发概述-任务类型分类

2 任务目录树管理

数据开发模块以目录树的方式展现当前项目下的所有任务,方便对任务进行增删改查。

具体功能包括创建、查找和筛选任务,同时也支持您创建目录组织分类任务,以及目录、任务级别的删除、重命名、移动等操作。已创建的任务,均存储在左侧目录树中,便于统一管理。

在目录树中,您可执行以下操作:

  • 搜索任务:可分别按引擎类型、搜索范围、任务类型、任务分类、任务状态、任务标签、责任人进行搜索。

    • 引擎筛选:选择项目下已绑定的引擎信息,目录树中展现对应引擎下的任务。

    • 搜索范围:根据关键词,搜索匹配的文件目录或任务。

      • 任务ID/任务名称/责任人:将关键词与“任务ID/名称/责任人”进行模糊匹配,返回符合条件的文件目录或者任务。

      • 任务代码:将关键词与任务代码进行模糊匹配,返回符合条件的文件目录或任务。

      • 任务配置参数:将关键词与任务配置页面的配置参数进行模糊匹配,返回符合条件的文件目录或任务。

    • 其他搜索方式:通过选择不同的选项,进行筛选。

  • 快捷筛选:根据需要,选择我的按钮,筛选您本人创建的任务。

  • 创建子目录&创建任务:
    鼠标悬停在要创建子目录或任务的目录所在行,然后移到出现的更多图标处,在下拉列表中选择新建。可执行以下操作:

    • 在根目录任务开发下,可以创建子目录文件夹,子目录下还可以创建子目录。

    说明

    数据开发中默认存在的根目录,无法删除、重命名和移动。

    • 在根目录、子目录下均可创建任务。
    • 对子目录,还可进行以下操作:
      • 移动:将该目录进行移动至本项目下的其它目录中,若该目录中包含子目录或任务,则一起移动。
      • 重命名:重命名目录名称。
      • 删除:删除该目录。
  • 编辑任务:用颜色表示任务的不同状态:

    序号
    图例
    说明
    1 绿色绿色表示上线任务,且最新草稿版本与线上版本一致。
    2 黄色黄色表示上线任务,但最新草稿版本与上线版本不一致。
    3 灰色灰色表示纯草稿任务,未上线。
    4 关闭线上任务为关闭的状态。
  • 单作业管理操作:

    操作说明
    开启/关闭对已经提交发布过的任务进行开启或关闭生产调度的操作。
    重命名对任务进行重命名,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,127个字符以内。

    标签管理

    您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

    • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。

    • 若没有可选的标签组,您可进行以下操作步骤:
      a. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理

      b. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

    删除删除未上线、或线上已关闭的任务。
    复制复制该任务。
    移动将任务移动至本项目下的其它目录中。

    交换

    • 同项目下,两个上线且启用的任务可进行交换。

    • 任务交换,只交换任务 ID 和依赖设置,其它配置不变。

    注意

    流式任务、sensor任务类型,目前不支持交换操作。

    操作日志查看任务的操作日志。

3 批量操作

在日常开发及项目维护过程中,会不定期有任务需批量管理的场景,如批量修改标签、复制、移动等。为了更方便的支持您在不同场景下的批量操作需求,在任务目录树原有文件夹组织方式的基础上,新增了任务列表平铺式的呈现。您可以在任务列表模式下,可以完成不同批量操作。

3.1 前置说明

  1. 当前操作人需具备项目使用权限

  2. 目前支持的批量操作类型:批量修改标签、批量复制、批量移动。(更多批量操作持续迭代中)

3.2 操作入口

  1. 登录 DataLeap租户控制台

  2. 概览界面,显示加入的项目中,点击数据开发进入对应项目。

  3. 在左侧任务目录树上方,单击更多操作图标,进入批量操作模式。

  4. 批量操作结束后,您可再次单击返回目录,返回到任务目录树形式。

3.3 批量操作类型

设置搜索条件,找到待批量操作的目标任务,您可以输入任务 ID/名称、责任人、存储目录、任务类型、标签等方式,进行任务的筛选过滤。
过滤出待操作的目标任务后,您可进行以下批量操作:

3.3.1 批量修改责标签

选定待批量操作的任务,上方单击批量操作类型---修改标签,进入批量修改标签入口:

  1. 单击删除全部标签或单任务后面的删除按钮,将原有标签去除。

  2. 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。

  3. 若没有可选的标签组,您可进行新建和添加标签组操作。详见标签管理说明

选定新的标签组后,勾选“已知晓批量变更风险”,单击确认按钮,完成批量修改标签属性。

3.3.2 批量复制及移动

依据搜索条件,同理选定待批量操作任务,选择批量操作类型---复制、移动。目前仅支持项目内移动,暂不支持跨项目移动。