欢迎大家前来支持贡献! 下面介绍部分新增 issue,这些 issue 在各方面对 BitSail 进行了优化。 1. 使用优化:Mysql Reader 支持 schema 发现用户在使用 Mysql reader 时,需要在任务配置中指定 schema,即要读取列的列名和类型。Mysql reader 会根据用户配置拼出一个 select 语句,用以从 mysql 拉取数据。这种方式的好处在于可以灵活地选择 mysql 中的部分列进行读取。但是在实际场景中,用户往往需要读取 mysql 表...
ClickHouse 社区版通过 DDL 语句在 ClickHouse 上创建一个 database,并将 MySQL 中的指定的一个 database 的全量数据迁移至 ClickHouse,并实时读取 MySQL 的 binlog 日志,将 MySQL 中的增量数据实时同步至 ClickHo... 或者数据可能存在异常,可以将这些表加入 exclude_tables 清单,不影响其他表的数据同步。## 异常处理数据同步链路无法避免发生异常情况导致同步中断,ByteHouse 提高了多个功能来简化异常问题处理。**跳过不支...
**手动 Preload** :使用 ALTER 语句手动 Preload 特定范围的数据。 **数据湖支持** **Hive 表引擎**从 0.2.0 版本开始,ByConity 可以通过建立外表的形式访问 Hive 数据,创建 Hive 外表时, ByConity 会获取并解析 Hive table 元数据,自动推断表的结构(列名,类型,分区),并通过 Hive 引擎读取 Parquet 以及 ORC 格式的 Hive 数据,同时支持将 ...
ClickHouse社区版通过DDL语句在ClickHouse上创建一个database,并将MySQL中的指定的一个database的全量数据迁移至ClickHouse,并实时读取MySQL的binlog日志,将MySQL中的增量数据实时同步至ClickHouse中。 ... **ByteHouse提高了多个功能来简化异常问题处理。** ● **跳过不支持的语句**MySQL支持的DDL语句非常丰富,有很多语法与clickhouse不兼容,在ClickHouse端执行会报错中断同步任务。可以通过设置skip\_dd...
在最新Spark上使用 SQL 语句 upsert Hudi 表。 额外支持Hudi Bucket Index索引功能,提供轻量且高效的索引方式,优化Hudi数据插入时的TagLocation效率。 新增Spark子组件Ksana替换Spark Thrift Server 支持兼容Hive 客户端访问Ksana。 支持SparkSQL跨队列提交作业、细粒度作业资源隔离、动态资源分配和引擎预热。 支持集成Hue工具。 支持OpenLDAP和Ranger的用户身份认证和权限控制。 支持读取TOS Hadoop 客户端新增读写TOS...
否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 涉及外键依赖的表,需要同时同步,否则将导致数据同步失败。 单任务中表的数量建议不超过 2 万,库的数量不超过 1000 个。当有大量库表需要同步时,建议拆分为多个任务。 目标端限制 数据库版本:当前支持 5.7 和 8.0 版本的 MySQL 实例。 目标数据库的同步账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的同步账号具...
否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 涉及外键依赖的表,需要同时同步,否则将导致数据同步失败。 单任务中表的数量建议不超过 2 万,库的数量不超过 1000 个。当有大量库表需要同步时,建议拆分为多个任务。 目标端限制 数据库版本:当前支持 5.6、5.7 和 8.0 的 MySQL 实例。 目标数据库的同步账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的同步账号...
您需要在迁移任务前在目标端中创建数据库。 当未勾选增量迁移时,数据迁移期间请勿在源库实例中写入新的数据,以确保数据的一致性。 在进行用户迁移,出现源数据库部分账号不支持迁移时,需先确保业务不受这些账号的... 建议拆分为多个任务。 目标库限制 数据库版本:当前支持 5.7 和 8.0 版本的 MySQL 实例。 目标数据库的迁移账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的迁移账号具有 SET_USER...
您需要在迁移任务前在目标库中创建数据库。 当未勾选增量迁移时,数据迁移期间请勿在源库实例中写入新的数据,以确保数据的一致性。 在进行用户迁移,出现源数据库部分账号不支持迁移时,需先确保业务不受这些账号的... 建议拆分为多个任务。 目标库限制 数据库版本:当前支持 8.0 的 veDB MySQL 实例。 目标数据库的迁移账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的迁移账号具有 SET_USER_ID 权...
否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 涉及外键依赖的表,需要同时同步,否则将导致数据同步失败。 单任务中表的数量建议不超过 2 万,库的数量不超过 1000 个。当有大量库表需要同步时,建议拆分为多个任务。 目标库限制 数据库版本:当前支持 5.7 和 8.0 的 MySQL 实例。 目标数据库的同步账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的同步账号具有 ...
否则 DTS 可能因无法获取日志从而导致任务失败,某些情况下也可能导致数据丢失。 涉及外键依赖的表,需要同时同步,否则将导致数据同步失败。 单任务中表的数量建议不超过 2 万,库的数量不超过 1000 个。当有大量库表需要同步时,建议拆分为多个任务。 目标端限制 数据库版本:当前支持 8.0 版本的 MySQL 实例。 目标数据库的同步账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的同步账号具有 SET...
您需要在迁移任务前在目标端中创建数据库。 当未勾选增量迁移时,数据迁移期间请勿在源库实例中写入新的数据,以确保数据的一致性。 在进行用户迁移,出现源数据库部分账号不支持迁移时,需先确保业务不受这些账号的... 建议拆分为多个任务。 目标库限制 数据库版本:当前支持 5.5、5.6、5.7 和 8.0 版本的 MySQL 实例。 目标数据库的迁移账号权限,会影响视图、存储过程和函数的使用,具体限制如下所示: 当目标数据库的迁移账号具有...
表示仅在本账号内实现数据传输。 跨账号:选择跨账号时,表示将实现两个账号间的数据传输。 说明 在进行跨账号传输数据时,您需要通过目标端所在的账号登录数据库传输服务 DTS 控制台。 跨账号进行数据传输前,您需要在源端的主账号内创建 IAM 角色并授权。详细操作,请参见如何授权用户实现跨账号传输数据。 跨账号 ID 输入源库所属的火山引擎账号 ID。 跨账号角色 输入已授权 DTS 访问跨账号资源的 IAM 角色。 MySQL 实例 在...