基础信息 |
*当前区域 | 当前 DataLeap 服务所属的地域信息,默认为开通 DataLeap 服务时选择的区域,此处不可编辑。 说明 若开通了多个区域,可通过页面顶端导航栏的区域下拉框选择靠近您业务的区域。 |
*项目名称 | 创建项目的名称,按需设置。
仅可由汉字、字母、数字、下划线、或特殊字符.、[]、【】、()、()组成。 |
*项目类型 | 分为公开和私有。 - 公开:只要是租户成员,即可进入项目,查看项目下的任务信息。
- 私有:只有该项目下的成员,才可进入项目,查看项目下的任务信息。
说明 开通 DataOps敏捷研发、湖仓一体或分布式数据自治服务后,项目类型才可设置为私有。 |
*项目模式 | 目前仅提供简单模式。 |
*所有者 | 租户主账号,不可修改。 |
*项目描述 | 项目有关的描述信息。 |
项目账号 | 项目下任务若需要使用统一的账号提交鉴权,可将租户主账号/租户下某子账号设置为项目账号。 |
数据源开发生产环境隔离 | 可选择是否开启数据源开发生产环境隔离。 - 若勾选开启隔离,则数据源支持开发生产环境隔离,开发环境任务配置和任务调试只能使用开发数据源,发布自动使用生产数据源。
- 若不勾选开启隔离,则默认简单模式只能注册生产数据源。
注意 项目一旦初始化配置后将不可再变更,请谨慎操作! |
项目管控 |
*鉴权配置 | 开发、生产环境对应的提交鉴权账号设置。 - 未配置项目账号:开发、生产环境鉴权,仅可使用用户账号。
- 已配置项目账号:生产环境鉴权,可按需选择使用用户账号或项目账号;开发环境鉴权,默认使用用户账号。
|
*项目回溯控制 | 无本项目编辑权限的用户,通过上游回溯本项目下的任务,选择是否需要审批。 - 直接执行:无本项目编辑权限用户,通过上游回溯本项目下的任务,直接生成对应回溯实例且执行。
- 审批同意后执行:无本项目编辑权限用户,通过上游回溯本项目下的任务,需要任务责任人或是项目管理员审批同意后,才能生成回溯实例且执行。
|
项目最大并行度 | 项目内任务运行的最大并行数,设置范围为1~5000的整数,项目最大并行度应大于等于项目重跑最大并行度。 说明 由于目前使用公共调度资源组,单个租户最大的并行度是100,即一个租户下各项目最大的并行度上限值是100。 |
项目重跑最大并行度 | 项目重跑的任务运行最大并行数,设置范围为1~5000的整数,项目重跑最大并行度应小于等于项目最大并行度。 |
默认监控规则 | 系统提供的基础监控规则,规则内容为任务重试结束仍失败,报警以邮件形式发送给任务负责人,且仅发送1次。
若选择启用,则项目内任务上线时,会默认启用监控规则。 说明 - 默认监控规则由系统提供,用户不可修改。
- 任务上线时/上线后,均可选择是否使用默认监控规则。
- 若选中任务中包含Kafka2HDFS任务,默认监控规则对该类型任务不生效。
|
数据安全设置 | 项目下查询数据结果相关的安全设置。 - 任务查询结果显示最大记录:任务查询返回结果可显示的最大记录数。可按需设置,设置范围为1~200000的整数,默认值为1000。
- Select查询结果设置:可选择是否允许下载和复制查询结果。
|
服务绑定 |
计算资源组设置 | 用于Notebook、Python、Shell等任务类型任务执行。
支持公共计算资源组和独享计算资源组选项,下拉可选运行中的资源组,可设置多个。 |
*调度资源组设置 | 支持公共调度资源组和独享调度资源组,下拉可选运行中的资源组,可设置多个。 |
数据集成资源组设置 | 可按需绑定已开通的数据集成资源组,下拉可选,可设置多个。
若无所需选项,可单击去创建跳转至独享资源组管理页面,创建新的资源组。 |
引擎设置 | 已开通引擎 E-MapReduce(EMR)、湖仓一体分析服务(LAS)和流式计算 Flink 版,可按需绑定。单击去购买会跳转至相应的管理页面。 - E-MapReduce:火山引擎提供的在线计算引擎,支持Hadoop、Spark、HBase、Hive、Flink等大数据组件。设置项包括 EMR 集群、Yarn 队列和访问模式。
- EMR 集群:仅可选择运行中的 EMR 集群。
- Yarn 队列:EMR 集群下对应的 Yarn 队列,下拉可选运行中的队列,支持设置多个。
- 访问模式:支持快捷模式和安全模式,选择集群后会自动显示相应的访问模式。集群访问模式的设置说明请参见绑定 EMR 集群。
说明 - 项目和 EMR 集群是多对多的绑定关系,即一个项目可以绑定多个 EMR 集群,而多个项目也可以绑定同一个 EMR 集群。
- EMR 引擎目前支持绑定 Hadoop、TensorFlow、Flink、Doris 和 StarRocks 五种集群类型的 EMR 版本,其中 Doris 和 StarRocks 仅支持绑定 3.2.1 版本。不同版本说明请参见 EMR版本概述。
- 项目需绑定 EMR 1.3.1 或之前的版本,且集群中需包含 Flink 组件服务,方可创建 EMR 流式数据任务,其余版本将在后续支持创建流式数据任务。EMR 支持的任务类型请参见数据开发 > 概述。
- 当绑定安全模式的集群时,为保证任务可正常执行,请确保项目下全部成员已完成账号映射。
- 湖仓一体分析服务:Serverless湖仓一体分析服务,企业级标准构建湖仓分析平台。设置项包括服务实例和 LAS队列。
当绑定湖仓一体分析服务引擎实例时,服务实例默认选择 default,支持绑定多个服务实例下对应的LAS队列。每个LAS队列的显示信息包括队列名称、队列类型(公共队列、独占队列)、具体状态(如正常、到期停服、欠费等)。 - 流式计算 Flink 版:企业级全托管流式计算平台,支持开箱即用,Serverless极致弹性,极简SQL开发,流批一体等特性。设置项包括引擎项目和资源池。
- 引擎项目:是指已在该引擎上创建的项目,下拉可选。绑定后,当前项目下任务会映射至对应引擎项目。
- 资源池:引擎项目下已创建的资源池,下拉可选,支持绑定多个。
- ByteHouse CE:是企业的智能增长引擎,基于开源 ClickHouse 的企业级分析型数据库,支持用户交互式分析 PB 级别数据,通过多种自研表引擎,灵活支持各类数据分析和应用。设置项包括 ByteHouse CE 集群,下拉可选已创建的集群,支持绑定多个。
|