You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
实时数据采集
基本配置
复制全文
基本配置

实时数据采集方案基本配置参数说明如下。

基本信息

基本配置参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
基本配置说明:

配置项

说明

基本信息

*链路类型

下拉选择来源和目标端数据源类型。
来源支持类型:MySQL(同时支持TDSQL的数据源类型)、SQLServer
目标支持类型:Kafka

*方案名称

输入实时数据采集方案名称。只允许字母、数字、下划线、连字符,且仅允许输入 1~63 个字符。

说明

解决方案实际生成的任务名称定义:

  • 流任务名称:方案名称_解决方案 ID;

方案描述

输入此方案的描述信息,方便后续维护管理。

*保存至

在弹窗中选择方案保存路径,此路径为数据开发项目中的任务路径。创建方式详见“任务目录树管理”。

网络与资源配置

在网络与资源配置中,配置数据来源/目标端数据源信息、集成资源组信息。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
网络与资源配置说明:

配置项

说明

*数据来源

下拉选择数据源管理中创建成功的源端数据源名称,支持选择多个。
若此前仍未创建相应数据源或需修改数据配置:

  • 您可单击下方新建数据源按钮,在右侧弹窗的数据源管理界面,进行数据源的创建。
  • 也可在对应数据源名称后,单击编辑按钮,进行数据源配置编辑操作。

Image
具体数据源配置详见注册数据源

说明

目前对于源端 MySQL、SQLServer 数据源类型,您可通过批量新增数据源的方式,进行批量创建,单次最多创建 200 个数据源:

  1. 单击批量新建数据源按钮,进入新建窗口。
  2. 单击下载模板按钮,在 Excel 模版中,配置数据源相关的数据源名、RDS 实例 ID、数据库名、用户名密码等信息。
  3. Excel 中数据源信息填写完成后,单击立即上传 > 确定新增,完成数据源批量新增。

*数据目标

下拉选择数据源管理中创建成功的目标端数据源名称。

*绑定引擎

默认绑定项目配置中以绑定的引擎类型。

*关联实例

下拉选择引擎下已关联的实例信息。

*队列(实时采集)

下拉选择DataLeap项目控制台 > 资源管理中已绑定授权的队列信息,队列操作详见“资源管理”。
队列资源选择完后,单击下方的测试连通性按钮,测试选择的队列是否可以和各数据源连通成功

资源组高级配置

您可在资源组高级配置中,配置实时采集同步信息。
其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
资源组高级配置说明

配置项

说明

*队列

选择任务执行的 Yarn 队列信息,您可下拉选择资源管理平台中所添加的 Yarn 队列信息。队列操作详见“资源管理”。

*资源设置

可通过自定义和默认两种设置方式,进行实时任务运行资源的设定,如单TaskManager CPU数量、单TaskManager内存大小、JobManager CPU数量等。

说明

默认设置中,各运行资源设置如下:

  • 单TaskManager CPU 数:2
  • 单 TaskManager 内存:4096 MB
  • 单 TaskManager slot 数:4
  • JobManager CPU 数:1
  • JobManager 内存:2048 MB

集成高级参数设置

打开高级参数输入按钮,根据实际业务要求,以 Key\Value 形式,在编辑框中输入实时任务所需的高级参数。参数配置方式详见“参数设置”中自定义参数设置说明。

Flink运行参数设置

支持输入 Flink 相关的动态参数和执行参数,具体参数设置详见 Flink 官方文档
参数配置方式详见“参数设置”中Flink运行参数设置说明。

资源组高级配置完成后,单击配置窗口右上角关闭按钮,退出配置窗口,并检查基本配置所有参数无误后,单击右下角下一步按钮,进行方案的映射配置

最近更新时间:2024.12.19 17:02:14
这个页面对您有帮助吗?
有用
有用
无用
无用