You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
合作与生态
支持与服务
开发者
了解我们
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

概述

更新时间：2023.04.18 19:23:50

我的收藏

1 整体概述

DataLeap 数据开发即大数据开发 IDE，集批流开发为一体，为开发者提供高效、智能的开发环境。支持快速创建开发任务、进行代码开发、运行查询等。主要模块包含数据开发、临时查询、数据库、资源库、函数库、回收站。

2 支持引擎介绍

  • E-MapReduce（EMR）：火山引擎 E-MapReduce 支持构建开源 Hadoop 生态的企业级大数据分析系统，完全兼容开源，提供 Hadoop、Spark、Hive、Flink 集成和管理，帮助用户轻松完成企业大数据平台的构建，降低运维门槛，快速形成大数据分析能力。

  • LAS ：LakeHouse Analytics Service，是 Serverless 湖仓一体分析服务 ，提供多模引擎，完全兼容开源 Spark、Presto、Flink 生态，具备弹性计算、海量存储、数据实时更新、统一 SQL、批流合一优势，与大数据开发治理套件对接，支持数据仓库/集市/数据湖分析能力，帮助企业构建云原生实时湖仓分析平台。

  • 流式计算 Flink 版： 火山引擎流式计算 Flink 版是一个 100% 兼容 Apache Flink 的全托管流式计算平台，集成了企业级超大规模作业实践，拥有开箱即用、免运维、Serverless 极致弹性、极简 SQL 开发、低 TCO、高 SLA 保障等特性，助力企业向实时化、云原生化飞速转型。

3 数据开发流程概述

DataLeap 数据开发基于不同引擎能力，提供多种数据开发节点类型，您可以选择项目已绑定的引擎类节点、通用类节点、数据集成类节点和交互式分析类节点进行数据开发工作，您也可以结合资源函数等能力来进行更复杂的作业开发。作业配置完成后，您可以通过平台调度能力，实现周期运行作业，配置调度相关参数，将作业提交发布至线上生产环境，进行周期调度。
下面为您简单介绍数据开发流程。

3.1 新建任务

  1. 登录DataLeap租户控制台。

  2. 在概览界面，显示加入的项目中，单击数据开发进入对应项目。

  3. 在任务开发界面，左侧导航栏中，单击新建任务按钮，进入新建任务页面。

  4. 配置完下方任务参数后，单击确认按钮，完成新建任务。

注意

  1. DataLeap 服务开通对任务分类类型的限制：

    • 仅开通“大数据集成”服务，不支持创建 Shell、Python、交互式分析Notebook 任务;

    • 仅开通“湖仓一体”服务，不支持绑定 EMR 引擎。

    • 仅开通“湖仓一体”、“大数据集成”服务，不支持绑定流式计算 Flink 引擎。

  2. 创建引擎类数据开发节点，需要先在新建项目时，绑定相应的引擎。

  3. 以下绑定引擎、关联实例等配置参数，仅在任务分类选择数据开发时需要选择。

参数说明
分类支持数据开发、数据集成、交互式分析三种分类。
绑定引擎EMR、LAS、流式计算 Flink 版、通用。

关联实例

由选择的绑定引擎决定：

  • 当引擎选择 EMR 时，下拉框中会展现出当前项目已绑定的 emr 集群，格式为 emr-xxx ，单击选择即可。

  • 当引擎选择 LAS 时，关联实例默认为 default。

  • 当引擎选择流式计算 Flink 版时，下拉框中会展现出当前项目已绑定的引擎项目，单击选择即可。

  • 当引擎选择通用时，不用选择相应的关联实例。

选择任务可根据实际场景需要，选择对应任务类型。
任务名称当前数据开发任务的名称，只允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且总计需要在127个字符内。
保存目录任务的保存路径。
任务描述输入描述任务的内容，便于后续管理。

3.2 任务类型分类

DataLeap 目前支持以下三类节点：数据开发、数据集成、交互式分析。

3.2.1 数据开发类节点

选择引擎下对应的引擎类型节点，将相应的代码下发到对应的数据清洗引擎上执行。
数据开发类节点目前支持选择 EMR、LAS、流式计算 Flink 版和通用的引擎类型，支持的任务类型分别如下：

  • EMR 引擎

    注意

    • EMR引擎目前支持绑定 Hadoop、TensorFlow、Flink、Doris 四种集群类型的所有 EMR 版本，不同版本说明详见 EMR版本概述。

    • 项目需绑定 EMR 1.3.1 或之前的版本，且集群中需包含 Flink 组件服务，方可创建 EMR 流式数据任务，其余版本将在后续支持创建流式数据任务。

    引擎分类关联集群实例
    支持任务类型

    EMR

    Hadoop

    • 离线数据：

      • EMR HSQL：通过编辑EMR HSQL语句，实现对EMR数据进行加工处理。

      • EMR Spark：实现使用Java Spark处理数据，多用于大规模的数据分析处理等。

      • EMR Hive-sensor：实现对上游Hive表分区数据的监控。

      • EMR HDFS-sensor：实现对上游HDFS文件路径下数据的监控。

      • EMR 报表任务：将 EMR SQL 查询的数据结果，以邮件形式，进行对外传输。

      • EMR MapReduce：通过调用 MapReduce 提供的接口，来处理存储在 hdfs 上的数据。

    • 流式数据：

      • EMR Flink SQL：通过 EMR Flink SQL 实现不同存储系统之间的ETL等。

      • EMR Java Flink：实现EMR Java Flink原生任务的托管和运维。

    TensorFlow

    离线数据：
    EMR Spark：实现使用 Java Spark 处理数据，多用于大规模的数据分析处理等。

    Flink

    流式数据：

    • EMR Flink SQL：通过 EMR Flink SQL 实现不同存储系统之间的ETL等。

    • EMR Java Flink：实现EMR Java Flink原生任务的托管和运维。


  • LAS 引擎

    引擎分类
    关联实例
    支持任务类型

    LAS

    default

    • 离线数据：

      • LAS SQL：通过编辑 LAS SQL 语句，对 LAS 数据进行加工处理。

      • LAS Spark：使用 Spark 处理数据，实现定制化的数据查询分析需求。

      • LAS Hive-sensor：实现对上游 Hive 表分区数据的监控。

      • LAS HDFS-sensor：实现对上游 HDFS 文件路径下数据的监控。

      • LAS 报表任务：将 LAS SQL 查询的数据结果，以邮件形式，进行对外传输。

    • 流式数据：

      • LAS Flink SQL：通过 LAS Flink SQL 实现不同存储系统之间的ETL等。

      • LAS Java Flink：实现LAS Java Flink原生任务的托管和运维。

  • 流式计算 Flink 版 引擎

    引擎分类
    		支持任务类型

    流式计算 Flink 版

    流式数据：

  • 通用

    引擎分类
    支持任务类型

    通用

    • Python：利用Python语法，实现数据分析。

    • Shell：满足Shell开发业务场景，使用Shell语法实现数据开发。

3.2.2 数据集成类节点

提供稳定高效的数据同步平台，致力于提供丰富的异构数据源之间高速稳定的数据同步能力。
数据集成类节点目前已支持离线集成和流式集成：

  • 离线集成：离线（批量）数据同步，通过定义数据来源和去向的数据源，实现异构数据源之间的数据传输。

  • 流式集成：实时同步支持实时从 Kafka、MySQL、BMQ 读取数据到目标数据库：Hive、HDFS、LAS、Doris、CFS等，实现实时保持源库和目标库的数据对应。

注意

数据集成任务中，EMR 集群涉及的 Hive、HDFS 数据源，目前支持除 EMR-2.X 之外的集群版本。

支持的数据源类型详见：https://www.volcengine.com/docs/6260/65365

3.2.3 交互式分析节点

Notebook任务：为满足用户数据开发、数据探索场景提供的交互式开发环境。支持使用 Python、Markdown 语言、引入第三方库完成数据开发以及算法开发。

3.3 调度设置

完成任务类型设置后，您需要为任务设置调度运行时的相关属性。DataLeap 平台提供了分钟、小时、日、周、月等级别的调度形式。详见调度设置。

3.4 任务操作栏说明

在任务操作栏中，您可以进行以下操作：

说明

不同任务类型，操作栏功能不一致，具体以界面显示为准。

下文以 LAS SQL 任务为例：

序号功能说明
1保存将任务进行保存操作，保存当前节点代码及相关配置。
2运行/终止运行/终止当前节点的代码。运行 SQL 代码时，支持选中部分代码后运行。
3锁定锁定任务，可以由当前任务编辑者锁定，其余协同者编辑代码时，需先单击解锁后再编辑。
4提交上线将任务提交上线至运维生产环境中调度周期执行。详见下文提交上线。
5格式化依据在个性化设置中的SQL格式化风格的设置，格式化书写的代码，使其语法结构看起来简洁明了。
6解析解析检查书写的 SQL 代码的语法和语义正确性，运行前检查语法错误信息，防止运行出错。

7

任务模板

您可以选择是否通过任务模板方式，便捷快速的复用代码模板逻辑，在弹窗中选择 LAS SQL 任务模板，并选择相应的版本号，输入替换的参数即可完成复用。

注意

  • 使用任务模板时，界面编辑器不支持再次编辑，若当前任务模板代码，不符合您当前业务场景逻辑，您可通过修改或新建任务模板，形成新版本的任务模板，来实现不同业务场景的复用。

  • 修改模板时，需注意其他任务引用情况，操作说明详见：任务模板。

8表管理若数据需要存入的 Hive 表尚未创建，则编写完 SQL 语句后，单击表管理 > 快速建表，可基于解析代码快速填充建表页面。
9执行引擎不同引擎的任务类型，执行引擎不同。
10参数说明平台提供的变量参数说明及参数运算法则。详见时间变量。

3.5 提交上线

任务编辑保存完成后，单击操作栏中的提交上线按钮，在弹窗中，需先通过提交事前检查和提交上线等上线流程，最后单击确认按钮，完成作业提交。

3.5.1 流水线事前检查

不同的业务场景有不同的需求。结合业务需求，支持面向整体任务开发流程构建流水线。例如在提交场景下，不同的业务侧希望上线前的检查项各不相同，该场景下则可使用流水线能力，通过命中触发条件形式，将提交作业接入流水线检查中，实现不同业务侧场景检查不同的内容。
项目下，主账号或项目管理员可创建多个流水线管理，在提交任务时，会触发多条流水线检查，起到事前检查的作用。

注意

上线流程中的“提交事前检查”，需租户主账号或项目管理员先在项目控制台 > 流水线管理中，创建相应的流水线检查事宜后方可显示。详见流水线管理。

3.5.2 提交上线

单击下一步，进入提交上线设置窗口，填写以下参数：

1. 离线任务提交

参数说明

回溯数据

提交上线时，是否重跑历史数据，此操作只回溯当前任务本身。

  • 否：不进行回溯

  • 是：需要重跑历史数据

    • 回溯业务时间：选择回溯的业务开始和结束时间。

    • 最大并行：设置最大并行数，此次回溯中，包含的所有实例，允许同时运行的实例个数，使用动态分区的任务下多个实例重跑时，并行度需设置为1。

    • 生成实例状态：

      • 运行后获得真实执行结果

      • 直接置为成功

      • 直接置为失败

    • 依赖检查：

      • 遵循依赖设置，上游完成后再开始执行

      • 忽略上游依赖，立即执行

    • 指定可调度时段：指定运行时段后，此次回溯生成的全部回溯实例，都将在该运行时段执行。

      • 北京时间：指定时间段，如：

        • 若设置时间为：06:00～22:00，则回溯实例将在当日早上6点到晚上10点执行

        • 若设置时间为：22:00～06:00，则回溯实例将在当日晚上10点到次日早上6点执行

    说明

    • “00:00～08:00”是核心任务执行高峰时段，为避免回溯/重跑影响例行，引发全局事故，建议开启该设置，且避开该时段。

    • “调度”不等价于“执行”，系统仅负责将对应实例提交调度至引擎，是否执行由引擎侧决定。

监控设置

  • 默认监控规则：

    • 目前，默认监控规则由系统提供，用户不可修改。

    • 默认监控规则：任务重试结束仍失败，报警以邮件形式发送给任务负责人，且仅发送1次。

  • 自定义监控规则：

    • 从项目已创建的监控规则中，选择适用规则，对该任务运行进行监控。

    • 可选择多个监控规则，对任务运行进行监控。

      监控规则创建，详见：离线任务报警监控。

    • 基线监控规则：

      • 从项目已创建的基线中，选择适用基线，对该任务及其全部上游任务进行监控。

      • 一个任务，只允许加入一条基线。

        基线监控创建，详见：基线管理。

提交设置

  • 提交设置

    • 仅提交：任务仅提交，发布需前往发布中心操作发布。

    • 提交并发布：提交并直接发布任务到运维中心。

    • 复查人：项目下配置复查策略时，需选定复查人员，复查配置详见复查配置。

  • 提交说明：输入本次提交说明，方便后续版本管理。

2. 流式任务提交

参数说明

上线检查

  • 配置检查：检查任务的基本配置、流式 SQL、PB（任务如有 PB 的数据类型存在）等配置信息。

  • 血缘检查：

    • 数据源登记检查：为保证后续数据源监控可正常添加，任务血缘需填写完整。

    • 数据源登记信息完整性检查：检查数据源的登记信息是否填写完整。 血缘检查通过后，直接进入上线提交设置。

  • 资源检查：

    • Flink 任务资源配置上下限检查。

    • 队列资源检查，检查 LAS 计算队列空余资源情况。

提交设置

  • 提交设置：

    • 仅提交：任务仅提交，发布需前往发布中心操作发布。

    • 提交并发布：提交并直接发布任务到运维中心。

    • 复查人：项目下配置复查策略时可见，需选定复查人员，复查配置详见复查配置。

  • 提交说明：输入本次提交说明，方便后续版本管理。

启动设置流式任务上线后，是否直接启动运行。

3.6 发布中心

发布中心模块，主要目标是提高数据研发效率，规范任务发布流程，区分开发-生产环境，提高生产安全及稳定性，完善数仓研发全链路能力建设。
若提交上线时，只选择仅提交，则您需进入发布中心，在此进行代码提交和发布包管理等操作。

3.7 运维查看

任务提交发布成功后，可进入运维中心查看任务运维。 在上方导航栏中，进入离线任务运维、实时任务运维。您可在运维中，按需查看任务运行情况，可对任务进行监控报警设置、开启任务、停止任务、查看运行日志等运维操作。

操作详见：离线任务运维、流式任务运维。