实时数据采集方案

基本信息

*方案名称

输入实时数据采集方案名称。只允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且需在127个字符以内。

方案描述

输入此方案的描述信息，方便后续维护管理。

*保存至

下拉选择方案保存路径，此路径为数据开发项目中的任务路径。创建方式详见任务目录树管理。

*链路类型

下拉选择来源和目标端数据源类型。

• 来源支持类型：MySQL、PostgreSQL、SQLServer、Oracle、VeDB、Mongo、DataSail（内置Topic）、Kafka、BMQ
• 目标支持类型：DataSail（内置Topic）、LAS、Kafka、BMQ、Print、Hive

*写入模式

当目标端为 LAS、Hive 数据源类型时，实时数据采集方案支持“实时写入日志表”模式，表示源端所有表的变更记录写入一张 log 表里，log 表由平台自动生成。您可将 log 表与准实时解决方案关联绑定，组合生成全增量表。

网络与资源配置

*数据来源

下拉选择数据源管理中创建成功的源端数据源名称，支持选择多个。

*数据目标

下拉选择数据源管理中创建成功的目标端数据源名称。

*实时集成任务资源组

下拉选择 DataLeap 项目控制台中已绑定的独享数据集成资源组：

• 选择的资源组，需要确保能与源端、目标端数据源连通，您可单击下方的立即连通性测试按钮，进入测试窗口，单击连通性测试按钮，测试选择的资源组是否可以和两侧数据源连通成功。
• 您也可以单击资源组管理按钮，前往资源组管理界面进行资源组的查看或新建等操作，详见资源组管理。

数据源设置

*数据源名称

下拉选择数据源管理中创建成功的数据源。若此前仍未创建相应数据源，您可单击右侧数据源管理按钮，前往数据源管理界面，进行数据源的创建。或单击批量新建数据源按钮，进行批量创建。

*订阅格式

下拉选择数据订阅格式，不同源端数据类型支持格式不同，您可根据实际情况进行选择。

*源库、源 Schema、源表/Topic 选择限定条件

您可通过设置源库、源 Schema、源表的限定条件，来获取源表信息。

• 单击添加规则按钮，完成限定条件规则的添加，支持添加多个规则，取合集；
  • 限定条件：您可通过指定源库、源表的名称来限定，也可通过正则表达式匹配的方式，快速获取源端库表信息。
  • 类型：依据限定条件中输入的条件，下拉选择匹配的类型，支持正则和个例类型配置。
• 源表限定条件，可支持批量输入，单击批量输入按钮，在弹窗中输入限定条件表达式，示例如下：[{"filterPattern":"table_name","filterType":"FULL","filterAction":"INCLUDE"}
  • filterType 可选：个例-FULL、正则-REG
  • filterAction 可选：INCLUDE

  注意

  当前批量输入的内容将会全量替换已手动添加的规则，请谨慎操作！

• 删除：您也可以单击操作列下的删除按钮，完成规则删除。

表

单击获取源表按钮，平台根据源库、源表限定条件的设置，自动加载符合条件的表。

映射规则

*库表匹配策略

支持选择与来源库表同名和自定义方式匹配：

• 与来源库表同名：目前暂不支持
• 自定义：您可通过自定义匹配方式，设置源端与目标库名/表名/ Topic 名称的转换规则，或在目标名称框中输入相应的名称信息。
  您可在规则输入框中，通过变量参数来实现分流到多个不同 Topic 或 表名，如： ${db_name_src_transed}、${table_name_src_transed}。自定义配置示例详见5.3 自定义库表匹配策略示例

  说明

  • 目标类型为 LAS、Hive 时，暂不支持自动创建与源端同名的目标数据库，您需先在目标端中创建好对应的数据库。
  • 若目标 Topic/表还未创建，则采集方案将会自动根据此处的命名来新建 Topic 或表名称。

数据源设置

*数据源

下拉选择数据源管理中创建成功的目标端数据源。若此前仍未创建相应数据源，您可单击右侧数据源管理按钮，前往数据源管理界面，进行数据源的创建。

映射配置

高级配置

高级参数配置

您可按需为同步解决方案配置多表映射高级参数，以 key-value 的形式输入。

*刷新源表和目标表映射

单击刷新源表和目标表映射按钮，自动加载源表和目标表信息，您可以在列表中进行以下操作：

Topic/表建立方式

Topic/表建立方式分为使用已有表、自动建表和数据表不存在几种方式：

• 使用已有表：当映射配置检查，目标端存在与源端表同名的表名时，则会直接使用已有表，来执行方案。
• 自动建表：当映射配置检查，目标端不存在与源端表同名的表名时，将会通过任务，以定义的目标表名，自动创建目标表。
• 数据表不存在：当目标端无法通过 DataSail 自动建表时，您需要进入目标端数据库中，手动创建数据表后，再继续配置解决方案。

配置

您可为采集方案配置映射高级参数，以 key-value 的形式输入。
常用参数示例：

• Topic 分区数：solution.writer.common.topic.partition_num = 5
• Topic TTL 时间：solution.writer.common.topic.ttl = 7，单位天

*实时集成任务资源组

下拉选择 DataLeap 项目控制台中已绑定的独享数据集成资源组：

• 选择的资源组，需要确保能与源端、目标端数据源连通，您可单击右侧的连通性测试按钮，进入测试窗口，单击连通性测试按钮，测试选择的资源组是否可以和两侧数据源连通成功。
• 您也可以单击资源组管理按钮，前往资源组管理界面进行资源组的查看或新建等操作，详见资源组管理。

*资源设置

可通过自定义和默认两种设置方式，进行实时任务运行资源的设定，如单TaskManager CPU数量、单TaskManager内存大小、JobManager CPU数量等。

集成高级参数设置

打开高级参数输入按钮，根据实际业务要求，以 Key\Value 形式，在编辑框中输入实时任务所需的高级参数。支持参数详见高级参数。

Flink 运行参数设置

支持输入 Flink 相关的动态参数和执行参数，具体参数设置详见 Flink 官方文档。

执行详情

• 单击运维操作列的执行详情按钮，进入解决方案执行详情界面，查看方案的具体执行步骤，如目标表创建，采集流任务创建、发布、启动等一系列详情步骤。
  在具体步骤的右侧，您可单击单个步骤的执行详情按钮，您可进入查看各步骤中的任务操作状态、耗时及前往任务运维界面等操作。
• 单击云监控页签，前往查看采集方案的实时集成读写指标、CDC 监控指标信息、资源组使用率等监控信息。您可根据实际场景，自定义时间来查看方案相关的执行指标。

提交执行

未在启动中的任务，您可单击运维操作列的提交执行按钮，将任务提交到运行状态，开启实时数据采集任务的运行。

1. 方案调整完成，在提交执行时，采集流任务位点重置步骤，您可人工确认是否需要重置位点开关，您可输入 Binlog 文件名、 Binlog 位点、gtids 等信息进行位点重置。
2. 在采集流任务启动的执行详情中，单击更多按钮，您可进行前往运维、查看执行日志、查看 Application Url 等操作。

方案查看

单击运维操作列更多中的方案查看按钮，可对当前采集方案的各个配置步骤进行查看。

方案编辑

单击运维操作列更多中的方案编辑按钮，可对当前采集方案的方案名称、数据来源端、目标端、运行配置步骤进行修改编辑。

方案复制

对已创建成功的采集方案任务，您可单击运维操作列更多中的方案复制按钮，对当前采集方案进行复制操作，生成一个新的采集方案。

方案删除

单击运维操作列更多中的方案删除按钮，将处于非运行中、非启动中的方案进行删除，当前仅删除采集方案本身，已生成的 Topic 和集成任务不会被删除。

运行监控

单击运维操作列更多中的运行监控按钮，为当前实时数据采集方案配置实时采集任务的运行监控。
在运行监控界面，单击新增规则按钮，平台自动为您创建一条监控规则，您可在操作列中，单击配置监控按钮，前往运维中心，查看监控详情。更多运行监控配置操作详见实时监控规则。

强制重启

单击运维操作列更多中的强制重启按钮，将之前创建的采集方案进行重启操作，区别于提交执行，强制重启会位点初始化、采集流任务停止等操作。

提交停止

单击运维操作列更多中的提交停止按钮，可将处于正常运行中的采集流任务进行停止操作。

操作历史

单击运维操作列更多中的操作历史按钮，您可查看当前同步方案的操作历史情况，如创建方案、重启方案、提交停止等操作，均会记录在操作历史中。您可单击操作列中的查看详情按钮，对历史版本的操作进行查看。