# 问题描述在数据日常管理/巡检中,应该监控数据量的增长情况,对于一些冷数据,应该及时进行归档/清理,避免数据库越来越大,最终导致性能问题。同时从业务的角度来说,不同类型的数据应该放置到最合适的数据库中,如一些监控数据我们可以使用 Elasticsearch,如果日常分析任务较重,可以使用数据仓库。# 问题分析删除大表中大量数据时需要特别注意,有两方面的考量:1. 产生大量的 binlog,可能导致磁盘空间急剧下降,业务停摆。2. 对...
# 问题描述在数据日常管理/巡检中,应该监控数据量的增长情况,对于一些冷数据,应该及时进行归档/清理,避免数据库越来越大,最终导致性能问题。同时从业务的角度来说,不同类型的数据应该放置到最合适的数据库中,如一些监控数据我们可以使用 Elasticsearch,如果日常分析任务较重,可以使用数据仓库。# 问题分析删除大表中大量数据时需要特别注意,有两方面的考量:1. 产生大量的 binlog,可能导致磁盘空间急剧下降,业务停摆。2. ...
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... redo log 包括两部分:- 内存中的**日志缓冲**(redo log buffer)- 内存层面,默认 16M,通过 innodb_log_buffer_size 参数可修改- 磁盘上的**日志文件**(redo logfile)- 持久化的,磁盘层面 MySQL ...
ClickHouse 服务作为 MySQL 副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。 这样不依赖其他数据同步工具,就能将 MySQL 整库数据实时同步到 ClickHouse,从... ClickHouse 社区版通过 DDL 语句在 ClickHouse 上创建一个 database,并将 MySQL 中的指定的一个 database 的全量数据迁移至 ClickHouse,并实时读取 MySQL 的 binlog 日志,将 MySQL 中的增量数据实时同步至 ClickHo...
云数据库 veDB MySQL 版已对接数据库工作台(DBW),提供慢日志(全称为慢查询日志(Slow Query Log)即慢 SQL)分析和审计日志功能。 慢日志分析支持查看实例和实例内只读节点慢日志的发展趋势、统计和明细,并可以进一步分析慢日志的信息,帮助您快速定位问题。 审计日志记录所有操作记录,便于回溯、查询和分析历史操作,帮助您时刻掌握产品安全和性能情况,提高数据库的安全性。 您可以登录 DBW 控制台查看 veDB MySQL 慢日志的分析结果...
审计日志功能会记录所有操作记录,便于您回溯、查询和分析历史操作,帮助您时刻掌握产品安全和性能情况,提高数据库的安全性。本文介绍如何管理云数据库 MySQL 版的审计日志。 前提条件已创建实例且实例处于运行中状态... 存储费用:审计日志的存储由火山引擎的日志服务提供并进行计费。当前每个实例有 5GiB 的免费存储空间,超出的部分将由日志服务收取相应费用。具体收费信息,请参见日志服务的计费规则。 请勿删除审计功能在日志服务...
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... redo log 包括两部分:- 内存中的**日志缓冲**(redo log buffer)- 内存层面,默认 16M,通过 innodb_log_buffer_size 参数可修改- 磁盘上的**日志文件**(redo logfile)- 持久化的,磁盘层面 MySQL ...
云数据库 MySQL 版支持批量修改日志备份策略功能,您可以为业务需求一致的实例同时设置日志备份策略。本文介绍批量设置日志备份策略的操作步骤。 前提条件已创建实例且实例处于运行中状态。具体操作,请参见创建实例... 日志备份策略页面,设置如下参数,设置完成后单击确定。 参数 说明 日志备份保留天数 备份文件在备份空间中的保留时长。可选范围: 7 天(默认)至 365 天。 本地Binlog保留时长 可设置 0~168 小时,自动删除超过保...
本文介绍如何在数据库工作台 DBW 控制台查看慢日志的分析结果和下载目标慢日志的操作步骤。 前提条件已创建云数据库 veDB MySQL 版实例和账号。详细操作,请参见创建实例和账号。 注意事项当您通过左侧导航栏的运维... 最多可查看 5000 条慢日志明细。 在下载慢日志中,您需要注意以下事项: 单次最多支持下载 10000 条日志信息。 下载慢日志的任务默认保留 1 天,到期后任务将被自动删除。 查询慢日志登录 DBW 控制台。 在顶部菜...
调用 DescribeBackupPolicy 接口查询指定实例的备份策略。 请求类型同步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceId String 是 mysql-d4942fd7**** 实例 ID。 返回参数名称 类型 示例值 描述 Insta... logFileCountsEnable Boolean true 是否开启本地 Binlog 保留上限。取值: true:开启。 false:不开启。 BinlogLimitCount Integer 10 本地 Binlog 保留个数,取值范围为 6~1000。超过指定保留个数后,会自动删除超...
ClickHouse 服务作为 MySQL 副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。 这样不依赖其他数据同步工具,就能将 MySQL 整库数据实时同步到 ClickHouse,从... ClickHouse 社区版通过 DDL 语句在 ClickHouse 上创建一个 database,并将 MySQL 中的指定的一个 database 的全量数据迁移至 ClickHouse,并实时读取 MySQL 的 binlog 日志,将 MySQL 中的增量数据实时同步至 ClickHo...
本文介绍如何查看实例的日志备份。 背景信息云数据库 MySQL 版的日志备份列表列出了实例的所有日志备份,并展示了备份的备份状态、备份所在地域、备份文件名称、备份文件大小、备份时间和备份所属节点等信息。在备份列表的操作列,还可以对备份进行获取备份文件的下载备份文件操作。 操作步骤登录云数据库 MySQL 版控制台。 在顶部菜单栏的左上角,选择实例所属的项目和地域。 说明 如未设置实例的所属项目,本操作应选择项目为账号...
本文汇总了使用云数据库 MySQL 版日志的常见问题。 慢日志明细可保留多少时间?慢日志明细可保留 30 天时间。 默认超过多少时间就被定义为慢日志?能否可自定义慢日志的时间?默认超过 1 秒的 SQL 语句被定义为慢日志;您可在参数设置中修改 long_query_time 参数来自定义慢日志的时间,详情请参见修改参数。 主备切换的日志可保留多少时间?主备切换的日志可保留 30 天时间。 切换主节点需要注意哪些事项? 主备切换过程中可能会有 1~2...