整库实时同步解决方案,目前支持“使用缓存”、“无需缓存,直接同步”这种缓存配置方式:
使用缓存:
可通过使用中间缓存来采集源端数据,增加缓存需要绑定数据来源对应的 CDC 采集数据进入的 MQ。若还未创建采集方案,您需到解决方案-实时数据采集界面,进行方案创建。详见“实时数据采集概述”,这种方式需要额外配置 Kafka 数据源。
说明
Kafka数据源类型,也可通过创建相应的CDC数据订阅采集任务,将来源端中的数据,通过数据库传输服务中数据订阅方式,实时采集到Kafka实例中。在数据来源配置时绑定对应的CDC采集数据进入的Kafka。
- 数据源选择:根据实际情况,按需选择Kafka数据源类型。
- 订阅格式:需根据不同缓存数据源类型中的数据格式进行选择:
- MySQL为来源端时,订阅格式支持选择Debezium Json格式;
- GaussDB为来源端时,订阅格式支持选择DRS Json格式;
- OceanBase为来源端时,订阅格式支持选择OMS Json格式;
- Oracle为来源端时,订阅格式支持选择OGG Json、HVR Json、Debezium Json格式;
- Hana为来源端时,订阅格式支持选择HVR Json格式;
- TIDB为来源端时,订阅格式支持选择 Canal Json格式;
- Dameng为来源端时,订阅格式支持选择 Dameng Json格式。
- 映射配置:
数据源类型选择完成后,单击刷新数据源和Topic映射按钮,根据数据源类型,进行相关的映射配置。您可在下拉框中,选择已创建的来源、目标端数据源、Topic 名称和绑定解决方案信息。
无需缓存,直接同步:
通过直接采集MySQL Binlog日志,进行数据实时读取。
说明
源端数据库需确认已开启Binlog协议,方可进行实时增量数据采集。
确认数据缓存同步方式后,单击右下角下一步按钮,进入映射配置。