You need to enable JavaScript to run this app.
导航

实时数据采集方案

最近更新时间2024.03.01 11:30:54

首次发布时间2023.11.21 15:36:48

实时数据采集方案支持您将源数据库的增量数据实时采集至消息队列。该方案场景适用于您将源端增量数据同步至目标端数据源库表中,且增量数据较大或者存在波峰波谷时,建议您先进行数据缓存的中间步骤。您可根据实际场景进行选择使用。
本文将为您介绍如何创建实时采集方案。

1 前置操作

  1. 已开通并创建 DataLeap 项目,创建的全量增量任务均会同步到该项目下。详见新建项目
  2. 已开通全域数据集成(DataSail)产品。详见服务开通
  3. 已创建合适资源规格的独享数据集成资源组,并将其绑定至创建成功的 DataLeap 项目下。且独享集成资源组已和 DataSail 做网络配置打通。
    资源组购买操作详见资源组管理,项目绑定操作详见数据集成资源组,网络操作详见 DataSail 网络配置
  4. 已完成来源和目标端的数据源准备,创建数据源操作详见 MySQL 数据源配置DataSail 数据源配置

2 数据同步解决方案

2.1 新建实时数据采集

数据源配置前置操作准备完成后,您可开始进行实时数据采集方案配置:

  1. 登录 DataSail 控制台
  2. 在左侧导航栏中选择数据同步方案,进入数据同步解决方案配置界面。
  3. 单击目录树上方项目选择入口,选择已创建的 DataLeap 项目。
  4. 单击右上角新建数据同步解决方案按钮,下拉选择实时数据采集按钮,进入实时数据采集方案配置界面。按照以下配置,完成方案新建。
    图片

进入配置界面后,您可按实际场景需求,完成方案的基本配置、数据来源配置、数据目标配置、运行配置等流程配置。

2.3 基本配置

基本配置参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

配置项

说明

基本信息

*方案名称

输入整库实时同步方案名称。只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需在127个字符以内。

方案描述

输入此方案的描述信息,方便后续维护管理。

*保存至

下拉选择方案保存路径,此路径为数据开发项目中的任务路径。创建方式详见任务目录树管理

*链路类型

下拉选择来源和目标端数据源类型。

  • 来源支持类型:MySQL、DataSail(内置Topic)、Kafka、BMQ、Mongo
  • 目标支持类型:DataSail(内置Topic)、LAS、Kafka、BMQ、Print

*写入模式

当目标端为 LAS 数据源类型时,实时数据采集方案支持“实时写入日志表”模式,表示源端所有表的变更记录写入一张 log 表里,log 表由平台自动生成。您可将 log 表与准实时解决方案关联绑定,组合生成全增量表。

网络与资源配置

*数据来源

下拉选择数据源管理中创建成功的源端数据源名称,支持选择多个。

说明

目前对于 JDBC 类火山引擎标品数据源类型,您可通过批量新增数据源的方式,进行批量创建,单次最多创建 200 个数据源:

  1. 单击批量新建数据源按钮,进入新建窗口。
  2. 单击下载模板按钮,在 Excel 模版中,配置数据源相关的数据源名、RDS 实例ID、数据库名、用户名密码等信息。
  3. Excel 中数据源信息填写完成后,单击立即上传 > 确定新增,完成数据源批量新增。

*数据目标

下拉选择数据源管理中创建成功的目标端数据源名称。

*实时集成任务资源组

下拉选择 DataLeap 项目控制台中已绑定的独享数据集成资源组:

  • 选择的资源组,需要确保能与源端、目标端数据源连通,您可单击下方的立即连通性测试按钮,进入测试窗口,单击连通性测试按钮,测试选择的资源组是否可以和两侧数据源连通成功。
  • 您也可以单击资源组管理按钮,前往资源组管理界面进行资源组的查看或新建等操作,详见资源组管理

方案基本配置完成后,单击右下角下一步按钮,进行方案的数据来源配置。

2.4 数据来源配置

在数据来源配置界面中,完成数据来源设置与库表映射规则匹配策略:
其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

配置项

说明

数据源设置

*数据源名称

下拉选择数据源管理中创建成功的数据源。若此前仍未创建相应数据源,您可单击右侧数据源管理按钮,前往数据源管理界面,进行数据源的创建。或单击批量新建数据源按钮,进行批量创建。

*订阅格式

下拉选择数据订阅格式,不同源端数据类型支持格式不同,您可根据实际情况进行选择。

*源库、源表选择限定条件

您可通过设置源库、源表的限定条件,来获取源表信息。
图片

  • 单击添加规则按钮,完成限定条件规则的添加,支持添加多个规则,取合集;
    • 限定条件:您可通过指定源库、源表的名称来限定,也可通过正则表达式匹配的方式,快速获取源端库表信息。
    • 类型:依据限定条件中输入的条件,下拉选择匹配的类型,支持正则个例类型配置。
  • 源表限定条件,可支持批量输入,单击批量输入按钮,在弹窗中输入限定条件表达式,示例如下:[{"filterPattern":"table_name","filterType":"FULL","filterAction":"INCLUDE"}
    • filterType 可选:个例-FULL、正则-REG
    • filterAction 可选:INCLUDE

    注意

    当前批量输入的内容将会全量替换已手动添加的规则,请谨慎操作!

  • 删除:您也可以单击操作列下的删除按钮,完成规则删除。

单击获取源表按钮,平台根据源库、源表限定条件的设置,自动加载符合条件的表。

注意

选择的多个库表,需保证其 Schema 信息一致(包括字段名称、字段类型)。
数据字段模块内系统默认展示第一个数据源中第一张表的元数据字段信息,若多表间字段不一致可能会导致运行失败。

映射规则

*库表匹配策略

支持选择与来源库表同名自定义方式匹配:

  • 与来源库表同名:目前暂不支持
  • 自定义:您可通过自定义匹配方式,设置源端与目标库名/表名/ Topic 名称的转换规则,或在目标名称框中输入相应的名称信息。
    您可在规则输入框中,通过变量参数来实现分流到多个不同 Topic 或 表名,如: ${db_name_src_transed}、${table_name_src_transed}。自定义配置示例详见5.3 自定义库表匹配策略示例

    说明

    • 目标类型为 LAS 时,暂不支持自动创建与源端同名的目标数据库,您需先在目标端中创建好对应的数据库。
    • 若目标 Topic/表还未创建,则采集方案将会自动根据此处的命名来新建 Topic 或表名称。

数据来源配置完成后,单击右下角下一步按钮,进行方案的数据目标配置

2.5 数据目标设置

在数据目标配置界面中,完成数据源目标端设置与映射相关配置:
图片
其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

配置项

说明

数据源设置

*数据源

下拉选择数据源管理中创建成功的目标端数据源。若此前仍未创建相应数据源,您可单击右侧数据源管理按钮,前往数据源管理界面,进行数据源的创建。

映射配置

高级配置

高级参数配置

您可按需为同步解决方案配置多表映射高级参数,以 key-value 的形式输入。

*刷新源表和目标表映射

单击刷新源表和目标表映射按钮,自动加载源表和目标表信息,您可以在列表中进行以下操作:

Topic/表建立方式

Topic/表建立方式分为使用已有表、自动建表数据表不存在几种方式:

  • 使用已有表:当映射配置检查,目标端存在与源端表同名的表名时,则会直接使用已有表,来执行方案。
  • 自动建表:当映射配置检查,目标端不存在与源端表同名的表名时,将会通过任务,以定义的目标表名,自动创建目标表。
  • 数据表不存在:当目标端无法通过 DataSail 自动建表时,您需要进入目标端数据库中,手动创建数据表后,再继续配置解决方案。

配置

您可为采集方案配置映射高级参数,以 key-value 的形式输入。
常用参数示例:

  • Topic 分区数:solution.writer.common.topic.partition_num = 5
  • Topic TTL 时间:solution.writer.common.topic.ttl = 7,单位天

数据目标配置完成后,单击右下角下一步按钮,进行方案的运行配置

2.6 运行配置

在运行配置界面,您可设置实时采集同步时相关的运行参数。
其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

配置项

说明

*实时集成任务资源组

下拉选择 DataLeap 项目控制台中已绑定的独享数据集成资源组:

  • 选择的资源组,需要确保能与源端、目标端数据源连通,您可单击右侧的连通性测试按钮,进入测试窗口,单击连通性测试按钮,测试选择的资源组是否可以和两侧数据源连通成功。
  • 您也可以单击资源组管理按钮,前往资源组管理界面进行资源组的查看或新建等操作,详见资源组管理

*资源设置

可通过自定义和默认两种设置方式,进行实时任务运行资源的设定,如单TaskManager CPU数量、单TaskManager内存大小、JobManager CPU数量等。

说明

默认设置中,各运行资源设置如下:

  • 单 TaskManager CPU 数:2
  • 单 TaskManager 内存:4096 MB
  • 单 TaskManager slot 数:4
  • JobManager CPU 数:1
  • JobManager 内存:2048 MB

集成高级参数设置

打开高级参数输入按钮,根据实际业务要求,以 Key\Value 形式,在编辑框中输入实时任务所需的高级参数。支持参数详见高级参数

Flink 运行参数设置

支持输入 Flink 相关的动态参数和执行参数,具体参数设置详见 Flink 官方文档

3 提交方案

方案运行配置完成后,单击右下角提交方案按钮,进行方案的提交,在弹窗中,您可根据实际情况勾选方案是否立即执行,并单击确定按钮,完成实时数据采集方案的创建。

4 实时整库方案运维

采集方案创建完成后,进入到方案列表界面,便可查看方案的执行概况,同时您也可以在列表界面进行以下操作:

4.1 解决方案筛选

在创建众多的解决方案后,您可在方案列表界面通过搜索或筛选的方式进行快速定位方案。

  • 您可通过方案名称、方案 ID、数据来源名称、数据目标名称等信息,输入搜索的方式进行筛选。
  • 您也可通过下拉选择方案操作状态、方案类型、数据来源名称、数据目标类型、创建人等选项进行任务的定位操作。

4.2 解决方案运维

在方案列表的运维列中,您可操作执行方案运维相关内容:

注意

启动中的解决方案不支持进行提交执行、方案编辑、方案删除、运行监控操作。

运维操作

说明

执行详情

  • 单击运维操作列的执行详情按钮,进入解决方案执行详情界面,查看方案的具体执行步骤,如目标表创建,采集流任务创建、发布、启动等一系列详情步骤。
    在具体步骤的右侧,您可单击单个步骤的执行详情按钮,您可进入查看各步骤中的任务操作状态、耗时及前往任务运维界面等操作。
  • 单击云监控页签,前往查看采集方案的实时集成读写指标、CDC 监控指标信息、资源组使用率等监控信息。您可根据实际场景,自定义时间来查看方案相关的执行指标。

提交执行

未在启动中的任务,您可单击运维操作列的提交执行按钮,将任务提交到运行状态,开启实时数据采集任务的运行。

  1. 方案调整完成,在提交执行时,采集流任务位点重置步骤,您可人工确认是否需要重置位点开关,您可输入 Binlog 文件名、 Binlog 位点、gtids 等信息进行位点重置。
  2. 采集流任务启动的执行详情中,单击更多按钮,您可进行前往运维查看执行日志查看 Application Url 等操作。

图片

方案查看

单击运维操作列更多中的方案查看按钮,可对当前采集方案的各个配置步骤进行查看。

方案编辑

单击运维操作列更多中的方案编辑按钮,可对当前采集方案的方案名称、数据来源端、目标端、运行配置步骤进行修改编辑。

方案复制

对已创建成功的采集方案任务,您可单击运维操作列更多中的方案复制按钮,对当前采集方案进行复制操作,生成一个新的采集方案。

方案删除

单击运维操作列更多中的方案删除按钮,将处于非运行中、非启动中的方案进行删除,当前仅删除采集方案本身,已生成的 Topic 和集成任务不会被删除。

运行监控

单击运维操作列更多中的运行监控按钮,为当前实时数据采集方案配置实时采集任务的运行监控。
在运行监控界面,单击新增规则按钮,平台自动为您创建一条监控规则,您可在操作列中,单击配置监控按钮,前往运维中心,查看监控详情。更多运行监控配置操作详见实时监控规则

强制重启

单击运维操作列更多中的强制重启按钮,将之前创建的采集方案进行重启操作,区别于提交执行,强制重启会位点初始化、采集流任务停止等操作。

提交停止

单击运维操作列更多中的提交停止按钮,可将处于正常运行中的采集流任务进行停止操作。

操作历史

单击运维操作列更多中的操作历史按钮,您可查看当前同步方案的操作历史情况,如创建方案、重启方案、提交停止等操作,均会记录在操作历史中。您可单击操作列中的查看详情按钮,对历史版本的操作进行查看。

5 后续步骤

方案提交完成,任务处于运行中后,您也可以前往运维中心>实时任务运维界面,对实时采集任务进行一系列运维操作,如对任务配置监控报警,开启停止任务等操作。运维操作详见实时任务运维