You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
实时分库分表
数据缓存配置
复制全文
数据缓存配置

整库实时同步解决方案,目前支持“使用缓存”、“无需缓存,直接同步”这种缓存配置方式:

使用缓存:

可通过使用中间缓存来采集源端数据,增加缓存需要绑定数据来源对应的 CDC 采集数据进入的 MQ。若还未创建采集方案,您需到解决方案-实时数据采集界面,进行方案创建。详见“实时数据采集概述”,这种方式需要额外配置 Kafka 数据源。

说明

Kafka数据源类型,也可通过创建相应的CDC数据订阅采集任务,将来源端中的数据,通过数据库传输服务中数据订阅方式,实时采集到Kafka实例中。在数据来源配置时绑定对应的CDC采集数据进入的Kafka。

  1. 数据源选择:根据实际情况,按需选择Kafka数据源类型。
  2. 订阅格式:需根据不同缓存数据源类型中的数据格式进行选择:
    • MySQL为来源端时,订阅格式支持选择Debezium Json格式;
  3. 映射配置:
    数据源类型选择完成后,单击刷新数据源和Topic映射按钮,根据数据源类型,进行相关的映射配置。您可在下拉框中,选择已创建的来源、目标端数据源、Topic 名称和绑定解决方案信息。
    • 单击“添加映射配置”按钮,您可按需添加多个数据源和 Topic 映射关系;
    • 单击“映射字段全量配置”按钮,可为多个映射关系,批量操作添加对应的 Topic 和绑定解决方案操作。

无需缓存,直接同步:

通过直接采集MySQL Binlog日志,进行数据实时读取。

说明

源端数据库需确认已开启Binlog协议,方可进行实时增量数据采集。

确认数据缓存同步方式后,单击右下角下一步按钮,进入映射配置

最近更新时间:2024.12.19 17:02:14
这个页面对您有帮助吗?
有用
有用
无用
无用