- 文档首页
大数据研发治理套件(私有化)
数据集成
实时分库分表
前置操作和注意事项
前置操作和注意事项
前置操作
- 已开通并创建 DataLeap 项目,创建的全量增量任务均会同步到该项目下。详见“新建项目”。
- 已完成来源端和目标端的数据源准备工作。创建数据源操作详见“注册数据源”。
- DataLeap项目控制台 > 资源管理中已绑定解决方案配置所需的队列信息,队列操作详见“资源管理”。
使用限制
- 实时分库分表同步解决方案同时支持选择的源表数量目前上限为 2000 张,但建议先以 100 张以下表数量来试用。
- 支持自动创建目标端数据表,不支持自动建库,数据库需要在同步解决方案创建前在目标端提前建好。
- 目标端为 LAS、StarRocks 时,实时分库分表解决方案支持自动建表能力,其余目标端数据源暂不支持。
- 实时分库分表同步解决方案目前暂不支持对视图的读取。如源端为 MySQL、Oracle、SQLServer、PostgreSQL 等数据库,该解决方案无法读取源端库中的视图相关数据。
注意事项
- 实时分库分表解决方案写入目标数据源时,已创建的目标端数据表中,必须要有主键字段。
- 目前表建立方式为选用已有表时,需要保证目标表schema和源表schema的表名称、字段名称和字段数量保持一致。
- 实时解决方案支持源端 insert、update、delete 语句类型,示例如下:
INSERT INTO database.table_name values (1, '12345'),(5, 'fs'),(7, 'fdg'),(8, 'gfsd');
update table database.table_name set col1 = 'xxxx' where col2 = 'xxxx';
Delete from database.table_name where col1 = 'xxxx';
最近更新时间:2025.02.27 17:25:58