# 前言在某些特定的问题排查场景下,或者需要复现问题,我们可能需要开启general log 来查看 MySQL 实时运行的 SQL 语句,以此来缩小问题的范围。general log 会记录所有的SQL语句,无论语句是否正确执行或者是由于语法错误而终止执行。同时开启 general log 在实例负载比较大的情况下了能会对服务器性能产生影响,这里推荐一个好用的工具,它基于 MySQL 协议的抓包工具,实时抓取 MySQL Server 端的请求,并格式化输出。# 工具安装...
# 前言在某些特定的问题排查场景下,或者需要复现问题,我们可能需要开启general log 来查看 MySQL 实时运行的 SQL 语句,以此来缩小问题的范围。general log 会记录所有的SQL语句,无论语句是否正确执行或者是由于语法错误而终止执行。同时开启 general log 在实例负载比较大的情况下了能会对服务器性能产生影响,这里推荐一个好用的工具,它基于 MySQL 协议的抓包工具,实时抓取 MySQL Server 端的请求,并格式化输出。# 工具安装##...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPE...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPEATAB...
# 前言MySQL 的原生备份工具 mysqldump 是特别常用的备份工具,它具有如下优点:1. 工具使用并不复杂,命令简单。2. 将数据生成 SQL语句,方便在不同数据库平台之间做数据迁移3. 对于 innodb 表可以在线备份。本文主要探讨 mysqldump 是如何保证备份一致性的。# 关键参数如何保证备份的一致性使用到如下两个关键参数### 1. --single-transaction加上这个参数目的在于,在备份 innodb 表前,将事务的隔离级别设置为 REPE...
ClickHouse 服务作为 MySQL 副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。 这样不依赖其他数据同步工具,就能将 MySQL 整库数据实时同步到 ClickHouse,从... 支持在线修复同步异常问题和重启同步任务。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/008f5c049f73402090aa33c262f06a39~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d...
在双向同步 MySQL 时,请勿同时在源端和目标端做 DDL 操作,否则可能会导致同步任务失败。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据同步过程中,需要注意以下几点:当需要使用在线 DDL 工具执行 DDL 操作时,需要保证同步对象是整个数据库,否则会由于临时表无法同步导致 DDL 失败。 同步期间请勿使用在线 DDL 工具执行轻量 DDL 操作例如小表增加字段等,否则可能由于 DDL 临时...
操作限制在双向同步 MySQL 时,请勿同时在源端和目标端做 DDL 操作,否则可能会导致同步任务失败。 在链路创建、库表结构初始化和全量初始化过程,请勿执行库或表结构变更的 DDL 操作否则同步任务会失败。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据同步过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证同步对象是整个数据库,否则会由于临时表...
操作限制在双向同步 MySQL 时,请勿同时在源端和目标端做 DDL 操作,否则可能会导致同步任务失败。 在链路创建、库表结构初始化和全量初始化过程,请勿执行库或表结构变更的 DDL 操作否则同步任务会失败。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据同步过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证同步对象是整个数据库,否则会由于临时表...
操作限制在双向同步 MySQL 时,请勿同时在源端和目标端做 DDL 操作,否则可能会导致同步任务失败。 在链路创建、库表结构初始化和全量初始化过程,请勿执行库或表结构变更的 DDL 操作否则同步任务会失败。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据同步过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证同步对象是整个数据库,否则会由于临时表...
操作限制在双向同步 MySQL 时,请勿同时在源端和目标端做 DDL 操作,否则可能会导致同步任务失败。 在链路创建、库表结构初始化和全量初始化过程,请勿执行库或表结构变更的 DDL 操作否则同步任务会失败。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据同步过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证同步对象是整个数据库,否则会由于临时表...
操作限制在双向同步 MySQL 时,请勿同时在源端和目标端做 DDL 操作,否则可能会导致同步任务失败。 在链路创建、库表结构初始化和全量初始化过程,请勿执行库或表结构变更的 DDL 操作否则同步任务会失败。 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表,在数据同步过程中,需要注意以下几点: 当需要使用在线 DDL 工具执行 DDL 操作时,需要保证同步对象是整个数据库,否则会由于临时表...
迁移或同步期间请勿使用在线 DDL 工具执行轻量 DDL 操作(如小表增加字段等),否则可能会由于 DDL 临时表存在时间过短导致 DDL 同步失败。 涉及外键依赖的表,需要同时迁移或同步。如果未选择外键依赖的表,将导致数据迁移或同步失败。 建议单任务表数量不超过 2 万,库数量不超过 1000 个。如果有大批量表需要迁移或同步,建议拆分成多个任务。 其他限制 建议源和目标库的 MySQL 版本保持一致,以保障兼容性。 执行数据迁移或同步前...