数据库磁盘满了
社区干货
MongoDB 如何释放磁盘空间
# **场景介绍**在使用 MongoDB 过程中,我们建议您对磁盘空间设置监控告警, 避免磁盘空间告急造成业务受损。本文介绍 MongoDB 释放磁盘空间的方法。# **操作步骤**1. 检查您的实例中是否存在已经废弃的索引、集合或者数据库,然后使用 dropIndexes,drop,dropDatabase 命令删除对应的索引、集合或者数据,该类命令执行后,文件会立即删除,磁盘空间会立即归还给操作系统,从而达到释放磁盘空间的目的。2. 从业务的角度来判断是否存...
如何排查 PostgreSQL 存储空间占用问题-2
我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。# 解决方案### WAL 日志和其他数据库类似,PostgreSQL 也采用了日志先行的方法,即在持久化数据文件前,保证之前的事务日志已经写到磁盘,以此来保证事务的持久性。下列情况可能会导致事务日志磁盘使用量增加:1. 高数据库负荷(数据库有频繁的写入操作)2. 只读副本为存储已满状态(在主实例上保留事务日志)3. 复制槽这是需要检查是否由于高负载导致 WAL 日志...
如何排查 PostgreSQL 存储空间占用问题-2
我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。# 解决方案### WAL 日志和其他数据库类似,PostgreSQL 也采用了日志先行的方法,即在持久化数据文件前,保证之前的事务日志已经写到磁盘,以此来保证事务的持久性。下列情况可能会导致事务日志磁盘使用量增加:1. 高数据库负荷(数据库有频繁的写入操作)2. 只读副本为存储已满状态(在主实例上保留事务日志)3. 复制槽这是需要检查是否由于高负载导致 WAL 日志...
MySQL 如何清理海量数据
# 问题描述在数据日常管理/巡检中,应该监控数据量的增长情况,对于一些冷数据,应该及时进行归档/清理,避免数据库越来越大,最终导致性能问题。同时从业务的角度来说,不同类型的数据应该放置到最合适的数据库中,如一些监控数据我们可以使用 Elasticsearch,如果日常分析任务较重,可以使用数据仓库。# 问题分析删除大表中大量数据时需要特别注意,有两方面的考量:1. 产生大量的 binlog,可能导致磁盘空间急剧下降,业务停摆。2. 对...
特惠活动
数据库磁盘满了-优选内容
数据库磁盘满了-相关内容
排查replication slot导致存储空间增长问题
# **问题现象**数据量在没有发生变化的情况下,发现存储空间不断增长,我们该如何解决此类问题。# **根因描述**Replication Slot 是 PostgreSQL 数据库中的一种机制,replication Slot 用于提高数据复制的效率和可靠性,避免 WAL 日志丢失或重复消费。在常见的场景中,如果 PostgreSQL 中有处于非 active 的 slot,会导致WAL日志不断堆积,占用大量存储空间,甚至可能写满磁盘导致业务受损。如果有其他的下游消费组件,未能及时提交 ...
存储空间
本文汇总了使用云数据库 PostgreSQL 版的常见存储空间问题。 购买的 PostgreSQL 实例的存储空间包含哪几个部分? 存储空间包括数据空间、日志空间、WAL 日志空间和事务文件空间,这几个部分共同使用空间。请注意控制各部分的空间使用情况,空间满后会造成数据库不可用。 PostgreSQL 实例存储空间的上限和下限分别是? 空间容量支持选择范围为 20~3000,单位为 GB,请根据业务情况合理选择。如有更大的空间容量需求请咨询您的客户经理。
通过 COMPACT 命令回收 MongoDB 分片集群磁盘碎片
本文介绍如何通过 compact 命令回收 MongoDB 分片集群实例的磁盘碎片,减少磁盘使用压力,提高利用率。 背景信息文档数据库 MongoDB 版实例在删除数据时,不会直接回收被删除数据的磁盘空间(这些空间会被标记为空闲),后续新写入的数据不会占用新的磁盘空间,而是重用之前空闲的磁盘空间,那些未被使用的空闲存储空间则被称作磁盘碎片。随着删除的操作增多,碎片也会越来越多,磁盘碎片越多表明磁盘利用率越低。Compact 命令可用于重写和...
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 写者将会填充数据在HDFS block尾部凑满一个block,带来写放大;### **Indexes**1. 数据统计;常见的统计有value个数/最小值/最大值/和/长度。对于复杂数据结构来说,子column也要记录数据统计;ORC File有三层统计...
PostgreSQL 开发运维最佳实践
# 前言这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。# 性能与稳定性* 慎用子事务,避免事务中使用过多的子事务。* 游标使用后及时关闭。* 对于在线业务... 另一方面可以减少海量 DELETE 时 WAL 日志暴增带来的磁盘压力。* PostgreSQL 支持在事务中运行 DDL 语句,建议将 DDL 封装在事务中执行,必要时可以回滚。需要提前明确 DDL 的影响,避免长时间的 rewrite table 影响...
排查主备节点存储空间不一致问题
发现其中一个只读节点磁盘占用率高,我们该如何排查此类问题?# **排查步骤**### 查看碎片率查看每个数据库占用的空间大小以及碎片大小:```SQLSELECT SUBSTRING_INDEX( it.NAME, '/', 1 ) AS table_schema, R... 因为 MySQL InnoDB 使用了 Undo Log 中记录的历史版本数据来满足 MVCC 的需求,存在长时间未执行完的 SQL / 未提交的事务,会阻塞 undo 的清理动作。# 解决方案在此场景中,只需要 kill 掉次长时间运行的 SQL,即可使...
常规变配
本文介绍如何为您的实例变更配置,包括变更实例规格、扩容或缩容存储空间、增删只读节点。 前提条件已创建实例,实例处于运行中状态。 注意事项实例变更配置期间,与数据库、账号、网络等相关的大部分操作都无法执行。... 会有内存用满宕机的风险。 操作步骤登录云数据库 PostgreSQL 版控制台。 在顶部菜单栏的左上角,选择实例所属的项目和地域。 说明 如未设置实例的所属项目,本操作应选择项目为账号全部资源。 在实例列表页面,单...
如何排查RDS for MySQL MySQL HA_ERR_RECORD_FILE_FULL问题
或者是写入数据的表已经写满,同时,这个报错信息可能与下面几点有关:1. 已经到达了MyISAM 表最大pointer大小2. 使用Innodb存储引擎的表,其表空间大小已经达到限制3. 涉及到MEMOEY存储引擎的表大小达到限制4. RDS for MySQL 实例磁盘空间不足# 解决方案## MyISAM 引擎表达到最大pointer大小您可以运行如下命令来进行相关检查:````undefinedmysql> show table status from database_name like 'table_name'\G````您可...
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
那可能认知就会比较模糊了,今天就跟大家一起,来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库... 避免每个操作都直接写磁盘导致性能降低),只有在事务提交时才会记录 biglog ,此时记录还在内存中,那么 biglog 是什么时候刷到磁盘中的呢?MySQL 其实是通过 sync_binlog 参数控制 biglog 的刷盘时机,取值范围是 0-...
