大数据研发治理套件（私有化）
大数据研发治理套件（私有化）
- 文档首页
大数据研发治理套件（私有化）数据开发开发流程介绍流式任务通用设置参数设置
文档反馈
问问助手参数设置分为基本信息、资源设置、Flink 运行参数和用户自定义参数四部分。下文对各部分进行介绍，不同任务类型的配置项存在不同，以实际页面为准。
任务参数设置相关参数说明如下：
基本信息
参数 | 说明 |
|---|---|
基本信息 | |
任务名称 | 创建任务时设置的任务名称。 不支持在当前页面编辑修改，可在左侧任务目录结构中对该任务重命名，具体可参见“任务目录树管理”。 |
任务描述 | 可对任务进行详细描述，方便后续查看和管理。 |
责任人 | 仅限一个成员，默认为任务创建人（任务执行失败、复查通过或者失败时的默认消息接收者），可根据实际需要，修改为其他项目成员。 |
Yarn队列 | Flink-1.11 引擎提供的任务计算队列，基于项目绑定的计算队列来显示。 流式集成任务类型需选择 Yarn 队列。 |
LAS队列 | LAS 引擎类型提供的任务计算队列，基于项目绑定的队列来显示。 |
计算资源 | 从关联的 Serverless Flink 引擎项目中选择目标资源池。 |
优先级 | 您可通过设置任务优先级，指定当前任务分配的执行资源优先级。等级数字越小，代表优先级等级越高，D3～D5 等级，您可直接在调度设置页面中设置。 |
标签 | 用于标识某一类任务，以便快速搜索过滤，操作即时生效，无需重新上线任务。
|
资源设置
TaskManager个数 | 设置作业中 TaskManager 的数量，控制并发数量，默认设置为 1 个。 |
|---|---|
单TaskManager CPU数 | 单个 TaskManager 所占用的CPU数量，默认设置为 1 个。 |
单TaskManager内存大小（MB） | 单个 TaskManager 所占用的内存大小，默认设置为 1024。 |
单TaskManager slot数 | 单个 TaskManager 中slot的数量，默认设置为 1 个。 |
JobManager CPU数 | 单个 JobManager 所占用的CPU数量，默认设置为 1 个。 |
JobManager内存 | 单个 JobManager 所占用的内存大小，默认设置为 1024。 |
数据源登记
注意
仅 LAS 集群下的流式开发任务支持数据源登记操作。
登记该任务使用的Source和Sink信息，用于后续监控配置和血缘构建。 可根据任务的历史24小时运行情况，获取推荐配置。 数据源登记支持自动解析和手动添加方式：
- 自动解析：保存SQL逻辑后，单击自动解析按钮，可根据SQL逻辑自动进行数据源上下游登记。您也可通过编辑按钮，修改直接上游任务。
- 手动添加：关闭自动解析后，您需通过手动添加的方式，登记数据源信息，并进行以下参数的配置。
- 源/目标：支持源/目标Source和Sink的选择。
- 数据源类型：支持LAS表、DataGen、Kafka等多种数据源类型，下拉可选。
- 数据源信息：数据源信息内容受数据源类型影响。根据类型的不同，填写对应的数据源信息。
FLInk 运行参数
可填写 Flink 相关的动态参数和执行参数，平台已为您提供一些常用的 SQL 参数、State 参数、Runtime 参数等，您可以根据实际情况进行选择，或者自行输入所需参数。具体设置可参见 Flink 官方文档。
支持单行编辑模式和脚本编辑模式。
- 单行编辑模式：Key-Value（KV）格式，其中key值只允许由字母、数字、小数点、下划线或连字符组成。您也可通过右侧按钮来添加、删除或清空相关参数。
- 添加一行参数
- 删除当前这行参数
- 清空输入框中已输入的参数值
- 脚本编辑模式：支持JSON、Yaml、自动检测三种编辑方式。
- 子类查看模式：您通过上方编辑模式输入参数后，可单击子类查看模式，支持将添加的参数自动做分类，帮助您在众多参数下，能更方便了解输入的 Flink 参数。
注意
- 可在对应分类下，按照关键词搜索需要使用的参数。
- 若在指定分类下，无法搜索到对应参数，可在“其它参数”类别，自行进行输入。
- 填写在“其它参数”类别下的参数，若隶属于“SQL参数/State参数/Runtime参数”类别，完成编辑后，系统会将其归属到对应分类。
用户自定义参数
用户自定义的参数，按需设置。
支持单行编辑模式和脚本编辑模式。
- 单行编辑模式：Key-Value（KV）格式，其中key值只允许由字母、数字、小数点、下划线或连字符组成。
- 脚本编辑模式：支持JSON、Yaml、自动检测三种编辑方式。