实时数据采集方案基本配置参数说明如下。
基本配置参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
基本配置说明:
配置项 | 说明 |
|---|---|
基本信息 | |
*链路类型 | 下拉选择来源和目标端数据源类型。 |
*方案名称 | 输入实时数据采集方案名称。只允许字母、数字、下划线、连字符,且仅允许输入 1~63 个字符。 说明 解决方案实际生成的任务名称定义:
|
方案描述 | 输入此方案的描述信息,方便后续维护管理。 |
*保存至 | 在弹窗中选择方案保存路径,此路径为数据开发项目中的任务路径。创建方式详见“任务目录树管理”。 |
在网络与资源配置中,配置数据来源/目标端数据源信息、集成资源组信息。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
网络与资源配置说明:
配置项 | 说明 |
|---|---|
*数据来源 | 下拉选择数据源管理中创建成功的源端数据源名称,支持选择多个。
说明 目前对于源端 MySQL、SQLServer 数据源类型,您可通过批量新增数据源的方式,进行批量创建,单次最多创建 200 个数据源:
|
*数据目标 | 下拉选择数据源管理中创建成功的目标端数据源名称。 |
*绑定引擎 | 默认绑定项目配置中以绑定的引擎类型。 |
*关联实例 | 下拉选择引擎下已关联的实例信息。 |
*队列(实时采集) | 下拉选择DataLeap项目控制台 > 资源管理中已绑定授权的队列信息,队列操作详见“资源管理”。 |
您可在资源组高级配置中,配置实时采集同步信息。
其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
资源组高级配置说明
配置项 | 说明 |
|---|---|
*队列 | 选择任务执行的 Yarn 队列信息,您可下拉选择资源管理平台中所添加的 Yarn 队列信息。队列操作详见“资源管理”。 |
*资源设置 | 可通过自定义和默认两种设置方式,进行实时任务运行资源的设定,如单TaskManager CPU数量、单TaskManager内存大小、JobManager CPU数量等。 说明 默认设置中,各运行资源设置如下:
|
集成高级参数设置 | 打开高级参数输入按钮,根据实际业务要求,以 Key\Value 形式,在编辑框中输入实时任务所需的高级参数。参数配置方式详见“参数设置”中自定义参数设置说明。 |
Flink运行参数设置 | 支持输入 Flink 相关的动态参数和执行参数,具体参数设置详见 Flink 官方文档。 |
资源组高级配置完成后,单击配置窗口右上角关闭按钮,退出配置窗口,并检查基本配置所有参数无误后,单击右下角下一步按钮,进行方案的映射配置。