You need to enable JavaScript to run this app.
导航
实时整库解决方案加表实践
最近更新时间:2024.05.31 11:01:17首次发布时间:2024.05.31 11:01:17

1 实践场景

已在全域数据集成 DataSail 中完成配置且正在运行的一个 MySQL > StarRocks 的实时整库同步解决方案。此示例中,因业务需要,现在需要在数据源源端 MySQL 中,增加一张业务表,希望目标 StarRocks 表中也能够实时同步接收新增表中的数据。

2 使用前提

  1. 已开通并创建 DataLeap 项目,创建的解决方案全量增量任务均会同步到该项目下。详见新建项目
  2. 已创建合适资源规格的独享数据集成资源组,并将其绑定至创建成功的 DataLeap 项目下。购买操作详见资源组管理,项目绑定操作详见数据集成资源组
  3. 已开通全域数据集成(DataSail)产品。详见服务开通
  4. 已完成数据源来源和目标端的准备,创建源端数据源 MySQL 实例,目标端火山引擎 E-MapReduce(EMR)StarRocks 实例。详见创建 MySQL 实例StarRocks 快速开始
  5. 已创建 MySQL_to_StarRocks 的实时整库同步解决方案。详见MySQL_to_StarRocks 实时整库同步

3 整库 CDC 加表操作

  1. 登录 DataSail 控制台

  2. 在左侧导航栏中选择数据同步方案,进入同步方案配置界面。

  3. 在对应的同步方案列表中,单击操作列下的【方案编辑】,进入方案编辑步骤。

    注意

    加表操作时,需注意解决方案中使用到的离线和实时独享集成资源组,均要确保有足够资源。

  4. 单击下一步按钮,进入数据来源步骤,选择源端 MySQL 中需要增加的表。

  5. 表选择完成后,持续单击下一步,进入数据目标配置步骤。

  6. 在数据目标步骤中,单击“刷新源表和目标表映射”按钮,刷新表映射列表。

  7. 在源表与目标表映射列表中,将原来存量已同步过表的【全量同步】按钮关闭,并将新增表的【全量同步】按钮保持打开。
    图片

  8. 单击下一步按钮,并提交修改后的解决方案。

    注意

    提交方案确认弹窗中,不要勾选【立即执行】。
    图片

  9. 进入到方案列表,在对应方案的操作列更多选择中单击【强制重启】按钮。

  10. 等待强制重启完成,观察任务执行详情,确保只有新加的表开始自动执行 【自动建表】和【一次性全量任务】,全量任务运行完后会自动继续执行 【增量流任务启动】。

  11. 当最终解决方案任务状态为【运行中】时,即表明加表操作流程已完成。