You need to enable JavaScript to run this app.
导航
数据开发界面功能指引
最近更新时间:2025.11.17 10:48:59首次发布时间:2023.02.01 13:39:20
复制全文
我的收藏
有用
有用
无用
无用

本文为您介绍 DataLeap 数据开发的整体功能界面,方便您快速熟悉数据开发的功能布局,了解各功能按钮以及模块的使用。

1 功能限制

  • 您需拥有项目内管理员、开发、复查者角色,方可进行数据开发操作,如创建任务、调试任务。若在项目内仅是运维、访客角色,不支持进行数据开发。详见管理成员信息
  • EMR StarRocks SQL、EMR Serverless StarRocks SQL 任务类型的复制并更改类型操作限制如下:
    • EMR Serverless StarRocks SQL 引擎任务不支持更改为 EMR StarRocks SQL 引擎任务。
    • 当 EMR StarRocks SQL 引擎任务的调度执行频率为准实时,将其复制更改为 EMR Serverless StarRocks SQL 任务后,会默认将 EMR Serverless StarRocks SQL 任务的调度执行频率降级为分钟级,且间隔时间默认为 5 分钟。
    • 临时查询文件、批量复制及运维中心复制功能暂不支持复制并更改类型该操作。
    • 复制并更改类型操作仅支持在同一项目下进行。且复制所得任务中,原任务中的依赖关系、产出数据登记信息将会被清除,因此,您需要在复制后的任务里重新进行相关配置。
  • 批量复制操作目前仅支持项目内移动,暂不支持跨项目移动。
  • 若当前项目是多环境项目时,单任务管理中的开启/关闭操作仅对生产环境生效,开发环境不受影响,您需前往开发环境的运维中心进行开启/关闭任务操作。

2 界面总览

Image

序号

功能

1

全部产品入口,单击图标即可选择其他模块进入。

  • 数据研发
    • 数据开发:一体化集成批式、流式数据开发能力,提供一站式全链路研发体验。
    • 数据服务:面向表、指标等数据资产,提供API创建、发布、共享、管理和运维的全生命周期管理能力,统一数据服务出口,实现数据应用价值最大化
  • 数据资产
    • 数据地图:收集和展示全链路元数据,帮助数据消费者解决找、理解、应用数据难的痛点,提升数据价值。
    • 指标平台:集成指标管理,指标计算,指标应用,解决指标定义、生产、出口的一致性问题。
  • 数据治理
    • 资源优化:对成本丰富的分析与优化建议,通过资源优化助力节省存储与计算成本。
    • 治理门户:一站式的数据治理产品解决方案,覆盖规划-执行-反馈全生命周期的治理流程。
    • 数据安全:数据权限的控制、风险与审计、数据保护,全方位保障大数据资产安全。
    • 数据质量:提供数据探查、数据监控与数据对比能力,保障数据质量。
    • SLA治理:提供SLA在线化申报与签署,并通过多种治理保障措施,协同提高全链路数据质量。

2

数据开发模块快速入口:

  • 任务开发:可基于不同的引擎支持,创建不同的任务类型进行数据开发,支持在该模块下进行作业开发环境调试工作。
  • 发布中心:在发布中心界面下管理已提交的作业,您可通过创建发布包功能,将作业发布至生产环境中运行。
  • 运维中心:可从该入口,快速进入离线/流式任务运维,实现对已上线任务进行管理运维。

3

切换工作空间:
该部分为您展示了当前登录的数据开发项目空间名称和所处的区域,您可单击下拉图标,切换至其他项目空间。

4

项目控制台:
单击进入当前项目的项目控制台,进行项目的配置信息、成员信息、复查配置、数据源管理等项目信息查看与配置。详见项目管理

5

搜索各引擎的数据表信息,您可通过输入表名称或关键字,跳转前往数据地图进行搜索。

6

左侧导航栏,可展示以下对应功能按钮:

  • 数据开发:可基于不同的引擎支持,创建不同的任务类型进行数据开发,支持在该模块下进行作业开发环境调试工作。
  • 临时查询:用于进行临时简单的数据查询工作。
  • 任务模板:提供便捷式创建任务,减少重复代码建设和常用代码的运维成本,提升开发效率。
  • 元数据:展现数据库表信息,对使用到的 Hive 表、LAS 表、StarRocks 表、Doris 表字段、分区信息及数据进行预览。
  • 资源库:支持上传本地资源,供复杂类型作业开发使用,您可在资源库中管理您上传的资源。
  • 函数库:提供引擎的公共函数;也可结合资源,自定义创建 UDF\UDTF\UDAF 函数。
  • 回收站:用户管理存放在数据开发中删除的节点任务。

7

数据开发模块,通过目录树的方式,对各个作业文件夹、任务节点类型进行管理,在此,您可以进行以下操作:

  • 创建子目录:根据不同业务场景,您可以为不同任务类型的节点创建属于自己的文件夹目录。
  • 新建任务:用于快速创建各种任务类型的节点。
  • 搜索任务:支持根据节点名称关键字、责任人等信息进行任务搜索。
  • 批量操作:用于快速对任务进行批量修改标签、复制、删除和移动任务等操作。
  • 移动:目录树中的任务,您可以直接通过鼠标按住拖拽任务名称的方式,自由的在文件夹之间移动。

8

主题设置:数据开发 Studio 个性化设置,根据自身喜好,设置主界面风格和编辑器设置。

9

作业编辑区,代码编辑时支持多种高阶编辑操作,如:

  • 多光标编辑:您可按住 option(或者 Alt) + 鼠标单击,进行多光标同时编辑;
  • 多列编辑:按住 option(或者 Alt) + Shift + 鼠标框选,进行多列编辑修改;
  • 快速移动某一行:按住 option(或者 Alt) + 上下方向键,可将某一行代码快速上移或下移操作;
  • 快速复制某一行:按住 option(或者 Alt) + Shift + 上下方向键,可迅速将当前行进行复制操作;
  • ……

特殊字符、中文符号在编辑时的高阶提示,创建的临时表或视图在当前代码中的直接跳转(cmd + 鼠标点击)等等能力,均可在代码编辑时操作。
不同任务类型的详细配置操作,详见数据开发概述-任务类型分类

10

标签页操作:

  • 单击右侧“显示已打开的标签页”按钮,展现标签页搜索框,当打开任务较多时,您可在此处通过任务名称,快速进行任务的搜索。
  • 具体标签页右键支持复制名称、关闭、关闭其他、关闭右侧标签页、关闭已保存、全部关闭、固定、取消固定、切换最大化面板等操作。

3 任务目录树管理

数据开发模块以目录树的方式展现当前项目下的所有任务,方便对任务进行增删改查。
具体功能包括创建、查找和筛选任务,同时也支持您创建目录组织分类任务,以及目录、任务级别的删除、重命名、移动等操作。已创建的任务,均存储在左侧目录树中,便于统一管理。
Image
在目录树中,您可执行以下操作:

  • 搜索任务:可分别按引擎类型、搜索范围、任务类型、任务分类、任务状态、任务标签、责任人进行搜索。

    搜索选项

    说明

    引擎筛选

    选择项目下已绑定的数据开发引擎信息,目录树中展现对应引擎下的任务。

    搜索范围

    根据关键词,搜索匹配的文件目录或任务。

    • 任务ID/任务名称/责任人:将关键词与“任务ID/名称/责任人”进行模糊匹配,返回符合条件的文件目录或者任务。
    • 任务代码:将关键词与任务代码进行模糊匹配,返回符合条件的文件目录或任务。
    • 任务配置参数:将关键词与任务配置页面的配置参数进行模糊匹配,返回符合条件的文件目录或任务。

    任务类型

    选择数据开发、数据集成、交互式分析等任务类型,便可返回对应类型的任务。其中:

    • 数据集成类型,支持按照来源/目标端的数据类型进行筛选。

      注意

      在对数据集成任务按照来源、目标数据源类型筛选后,处于此搜索模式时,任务分类、任务状态、标签、责任人和搜索关键词的筛选依旧有效,多个筛选项之间是“且”的关系;其他过滤条件,如引擎筛选、任务类型和搜索范围的筛选将不再生效,例如数据开发、交互式分析等任务类型的筛选将会失效。

    • 交互式分析类型,默认可筛选 Notebook 任务类型。

    任务分类

    支持按离线任务和实时任务分类进行筛选。

    任务状态

    支持根据任务目前状态进行筛选。

    任务标签

    您可以根据对任务设定的自定义标签进行筛选。您可通过以下操作步骤对任务进行标签设置:

    1. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理
    2. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

    责任人

    支持根据任务的责任人进行筛选。

  • 快捷筛选:根据需要,选择我的按钮,筛选您本人创建的任务。

  • 创建子目录&创建任务:
    鼠标悬停在要创建子目录或任务的目录所在行,然后移到出现的更多图标处,在下拉列表中选择新建。可执行以下操作:

    • 在根目录任务开发下,可以创建子目录文件夹,子目录下还可以创建子目录。

    说明

    数据开发中默认存在的根目录,无法删除、重命名和移动。

    • 在根目录、子目录下均可创建任务。
    • 对子目录,还可进行以下操作:
      • 移动:将该目录进行移动至本项目下的其它目录中,若该目录中包含子目录或任务,则一起移动。您也可以直接通过鼠标按住拖拽任务名称的方式,自由的在文件夹之间移动。
      • 重命名:重命名目录名称。
      • 删除:删除该目录。
  • 编辑任务:用颜色表示任务的不同状态:
    Image

    序号

    图例

    说明

    1

    绿色

    绿色表示上线任务,且最新草稿版本与线上版本一致。

    2

    黄色

    黄色表示上线任务,但最新草稿版本与上线版本不一致。

    3

    灰色

    灰色表示纯草稿任务,未上线。

    4

    关闭

    线上任务为关闭的状态。

  • 单作业管理操作:

    操作

    说明

    开启/关闭

    对已经提交发布过的任务进行开启或关闭生产调度的操作。

    说明

    • 若当前项目是多环境项目时,此处操作的开启/关闭操作仅对生产环境生效,开发环境不受影响,您需前往开发环境的运维中心进行开启/关闭任务操作。
    • EMR SQL、EMR StarRocks、EMR Serverless StarRocks 任务,当引擎访问模式为安全模式,且任务已发布至运维中心后,若任务责任人已移除其在引擎绑定时配置的 EMR LDAP 账号映射,后续将无法执行任务的开启操作(但关闭操作不受影响)。需为责任人账号重新绑定 EMR LDAP 账号,方可执行相应操作。
      您可前往 DataLeap 租户控制台 > 引擎绑定 > 访问模式界面,完成绑定后即可操作任务的开启。绑定操作详见 引擎绑定

    重命名

    对任务进行重命名,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,127个字符以内。

    标签管理

    您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

    • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
    • 若没有可选的标签组,您可进行以下操作步骤:
      1. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理
      2. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

    删除

    删除未上线、或线上已关闭的任务。

    注意

    若当前项目是多环境项目时,需注意:

    • 删除时您需先将开发环境、生产环境中的任务都处于关闭状态后,方可进行关闭操作。
    • 删除操作会将开发环境、生产环境中的任务都删除,请谨慎操作。

    复制

    复制当前任务。
    其中 EMR StarRocks SQL、EMR Serverless StarRocks SQL 任务类型,支持以下复制并更改类型操作:

    • 支持将 EMR StarRocks SQL 任务复制并更改为 EMR Serverless StarRocks SQL 引擎任务;
    • 支持 EMR StarRocks SQL、EMR Serverless StarRocks SQL 任务可复制并更改各自当前任务类型下不同的引擎实例。

    Image
    如:在 EMR StarRocks SQL 任务上单击复制并更改类型按钮,在弹出的对话框中,可进行切换操作。

    注意

    • EMR Serverless StarRocks SQL 引擎任务暂不支持更改为 EMR StarRocks SQL 引擎任务,但仍可通过该按钮,在相同任务类型下,复制不同引擎实例的任务。
    • 当 EMR StarRocks SQL 引擎任务的调度执行频率为准实时,将其复制更改为 EMR Serverless StarRocks SQL 任务后,会默认将 EMR Serverless StarRocks SQL 任务的调度执行频率降级为分钟级,且间隔时间默认为 5 分钟。
    • 临时查询文件、批量复制及运维中心复制功能暂不支持复制并更改类型该操作。
    • 复制并更改类型操作仅支持在同一项目下进行。且复制所得任务中,原任务中的依赖关系、产出数据登记信息将会被清除,因此,您需要在复制后的任务里重新进行相关配置。

    移动

    将任务移动至本项目下的其它目录中。

    交换

    • 同项目下,两个上线且启用的任务可进行交换。
    • 任务交换,只交换任务 ID 和依赖设置,其它配置不变。

    说明

    流式任务、sensor任务类型,目前不支持交换操作。

    操作日志

    查看任务的操作日志。

4 批量操作

在日常开发及项目维护过程中,会不定期有任务需批量管理的场景,如批量修改标签、复制、移动等。为了更方便的支持您在不同场景下的批量操作需求,在任务目录树原有文件夹组织方式的基础上,新增了任务列表平铺式的呈现。您可以在任务列表模式下,可以完成不同批量操作。

4.1 前置说明

  1. 当前操作人需具备项目使用权限。
  2. 目前支持的批量操作类型:批量修改负责人、修改标签、复制、移动、删除。

4.2 操作入口

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,点击数据开发进入对应项目。
  3. 在左侧任务目录树上方,单击批量操作图标,进入批量操作界面。
    Image

4.3 批量操作类型

设置搜索条件,找到待批量操作的目标任务,您可以输入任务 ID/名称、责任人、存储目录、任务类型、标签、引擎类型等方式,进行任务的筛选过滤。
过滤出待操作的目标任务后,您可进行以下批量操作:

4.3.1 批量修改责任人

选定待批量操作的任务,单击上方批量操作类型---修改责任人,进入批量修改责任人入口:
Image

  1. 目标责任人下拉框中,选择在当前项目下的成员,项目中添加成员操作详见管理成员信息
  2. 勾选下方“已知晓批量变更风险”选项。
  3. 单击确认按钮,完成责任人修改。

说明

  • 修改责任人,仅更新任务草稿版本配置,线上生效需要您重新提交发布任务。
  • 批量修改责任人操作后,目标责任人将自动获得任务编辑锁,需确保目标责任人拥有任务编辑权限后无风险。

4.3.2 批量修改标签

选定待批量操作的任务,单击上方批量操作类型---修改标签,进入批量修改标签入口:

  1. 单击删除全部标签或单任务后面的删除按钮,将原有标签去除。
    Image
  2. 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
  3. 若没有可选的标签组,您可进行以下操作步骤:
    1. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理
    2. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

选定新的标签组后,勾选“已知晓批量变更风险”,单击确认按钮,完成批量修改标签属性。

4.3.2 批量复制及移动

依据搜索条件,同理选定待批量操作任务,选择批量操作类型---复制、移动操作,在弹窗中指定复制、移动后的目标文件目录,单击确定按钮,完成操作。

注意

目前仅支持项目内移动,暂不支持跨项目移动。

4.3.4 批量删除

勾选待批量操作删除的任务后,单击上方批量操作类型---删除,进入批量删除入口。
Image
在删除列表中,您可进行以下操作:

  • 单击右侧 alt 去除按钮,可将所选任务去除在批量删除列表中。
  • 需要删除的任务列表确认无误后,单击确认按钮,完成删除。

注意

  • 已上线或已开启的任务,将不会被删除。
  • 删除后的任务,将会进入回收站中,您可前往回收站进行后续操作。详见回收站

4.4 任务列表自定义展示

单击列表上方自定义展示列按钮,您可进入任务列表自定义展示列的配置:

  • 列表项:单击勾选全部,可以将所有列表参数展现在界面上,您也可以自定义进行勾选。
  • 冻结项:默认冻结任务名称列表项,默认需要展示。
  • 活动列:您可以以拖拽的方式,自定义排序已选中的列表项,或者删除该活动列。

5 操作日志

您在此操作的所有批量修改动作,均会记录在操作日志窗口中,您可在此追溯历史操作记录。
在任务列表上方,单击操作日志按钮,进入操作记录窗口。您可窗口中,查看历史的操作时间、任务名称、变更、批量操作类型及操作人信息。
Image

6 界面布局管理

DataLeap 数据开发操作界面,可根据您的使用习惯,进行自定义布局管理,如 Tab 页分屏、导航栏移动、禅模式等操作。

  1. Tab 页分屏:
    当您在编辑代码,需要界面分屏操作时,您可手动按住一个任务标签页,可进行上下左右拖拽,实现分屏后可直接在不同任务中来回切换编辑,提升代码编辑效率。
    Image
  2. 导航栏移动:
    支持您将界面左侧导航栏中的模块,通过拖拽的方式移动到右侧,可实现左右区分模块。
    Image
  3. 禅模式:
    您可将编辑区界面最大化,开启禅模式,进行高效编辑。
    Image