前置操作
离线整库同步来源端和目标端涉及的数据源配置,均可在数据开发 > 数据源管理中进行配置,相关操作可参见“注册数据源”。
使用限制
- 同步解决方案同时支持选择的表数量目前上限为 2000 张,但建议先以 100 张以下表数量来试用。
- 目前目标数据库需要提前在湖仓一体分析服务(LAS)中先创建好,暂不支持在解决方案中自动创建。
- 目标端为 LAS、ByteHouse企业版、Hive 时,离线整库解决方案支持自动建表能力,其余目标端数据源暂不支持。
- 整库离线同步方案同步数据至 LAS 时,目前仅支持将数据写入分区表,暂不支持写入数据至非分区表。
- 离线整库同步解决方案目前暂不支持对视图的读取。如源端为 MySQL、Oracle、SQLServer、PostgreSQL 等数据库,该解决方案无法读取源端库中的视图相关数据。
注意事项
- 离线整库解决方案写入 Hive 目标数据库表时,同步主键信息可为空,非必填。其余目标端数据源,已创建的目标端数据表中,必须要有主键字段。
- 目前表建立方式为选用已有表时,需要保证目标表 schema 和源表 schema 的表名称、字段名称和字段数量保持一致。
- 离线整库方案支持源端 insert、update、delete 语句类型,示例如下:
INSERT INTO database.table_name values (1, '12345'),(5, 'fs'),(7, 'fdg'),(8, 'gfsd');
update table database.table_name set col1 = 'xxxx' where col2 = 'xxxx';
Delete from database.table_name where col1 = 'xxxx';