数据库服务器中的内存和磁盘
社区干货
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 而且会影响内存中cache的使用效率;在计算时,由于行数据在内存中是顺序存储在一起的,所以对 cpu cache 也很不友好。 列存就是解决上述问题的灵丹妙药,首先读取时只需要读取关心的列数据,在计算时也对cpu cache非常友...
如何排查 PostgreSQL 存储空间占用问题-2
RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1],我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。# 解决方案### WAL 日志和其他数据库类似,PostgreSQL 也采用了日志先行的方法,即在持久化数据文件前,保证之前的事务日志已经写到磁盘,以此来保...
如何排查 PostgreSQL 存储空间占用问题-2
RDS for PostgreSQL 消耗的存储空间主要包含如下方面:1. 数据文件2. WAL 日志3. 未消耗的 replication slot4. 数据库日志5. 临时文件6. ……在我们进行排查此问题时,可以从这个方面进行。在上一个章节[1],我们讲述了如何排查数据占用大小,本节内容会提到下面的几种可能性。# 解决方案### WAL 日志和其他数据库类似,PostgreSQL 也采用了日志先行的方法,即在持久化数据文件前,保证之前的事务日志已经写到磁盘,以此来保...
MongoDB 如何释放磁盘空间
# **场景介绍**在使用 MongoDB 过程中,我们建议您对磁盘空间设置监控告警, 避免磁盘空间告急造成业务受损。本文介绍 MongoDB 释放磁盘空间的方法。# **操作步骤**1. 检查您的实例中是否存在已经废弃的索引、集合或者数据库,然后使用 dropIndexes,drop,dropDatabase 命令删除对应的索引、集合或者数据,该类命令执行后,文件会立即删除,磁盘空间会立即归还给操作系统,从而达到释放磁盘空间的目的。2. 从业务的角度来判断是否存...
特惠活动
数据库服务器中的内存和磁盘-优选内容
数据库服务器中的内存和磁盘-相关内容
火山引擎ByteHouse:分析型数据库如何设计列式存储
为用户提供极速分析体验和海量数据处理能力,提升企业数字化转型能力。# 列式存储介绍分析型数据库中的列式存储,是一种数据库的物理存储结构,它是根据数据的列而不是行来存储数据的。列式存储的主要优势在于它能... 从而节省存储空间。1. **数据筛选性能**: 列式存储使得只读取查询所需的列变得非常高效。在执行大量涉及多列的复杂查询时,可以显著减少磁盘 I/O 操作,从而提高查询性能。1. **计算局部性**: 由于数据按列存储,...
使用Sysbench测试云服务器性能
本文介绍如何使用Sysbench测试云服务器的CPU、内存、FileIO负载。 Sysbench是一个基于LuaJIT的可编写脚本的多线程基准测试工具。它最常用于数据库基准测试,由于其简单易用,也被用于测试非数据库服务器的工作负载。... 当前支持fileio(磁盘IO)、cpu、memory、threads(线程)、mutex(互斥锁)。 command 通用的操作符,支持prepare、run、cleanup、help,大多数场景只用run。 options 根据testname确定,主要用来控制负载的测试参数。 如需...
自建高性能数据库-选型与性能测试
本文介绍如何选择火山引擎云服务器自建各类高性能数据库。 一、场景描述数据库一直是构建现代应用的重要组件,几乎所有应用都始于数据并终于数据。随着数据驱动时代的到来,数据更是无处不在,进一步成为未来创新的基石。 在应用的微服务化、数据类型多样化的大趋势下,单一种类的数据库已经无法满足现代应用的需求,因此各类专门构建的数据库应运而生,包括关系数据库、键值数据库、文档数据库、内存中数据库、图形数据库、时间序列数...
清理空间(pg_repack)
数据库 PostgreSQL 版目前只支持 pg_repack 1.4.8 版本,且要求客户端二进制版本必须和服务端相同。 pg_repack 需要额外的存储空间。全表 repack 时,剩余存储空间需至少是待 repack 表和待 repack 表所有索引占据的总空间和的 2 倍。 如果待 repack 的目标表有主键,且主键索引定义存在 INCLUDE 子句,则被 INCLUDE 的列必须 NOT NULL。 pg_repack 无法对临时表进行清理。 pg_repack 运行时无法对 repack 操作中的表执行 DDL。p...
如何排查RDS for MySQL 查询运行缓慢的问题
中的查询运行缓慢,我们应该如何排查呢?# 问题分析通常来说,查询运行缓慢有如下几方面原因:1. 资源利用率出现瓶颈(CPU/IO/Memory)2. 工作负载不符合预期3. 查询不够优化## 资源利用率出现瓶颈通常来说,当查询运行缓慢时,我们应当先检查资源利用率是否出现瓶颈,需要重点检查 CPU 利用率是否超出预期,是否 IO 出现瓶颈,剩余内存是否偏低。## 工作负载不符合预期由于业务的快速增长,数据库压力可能增大,当前实例类型...
如何排查RDS for MySQL 查询运行缓慢的问题
为什么我在 RDS for MySQL 中的查询运行缓慢,我们应该如何排查呢?# 问题分析通常来说,查询运行缓慢有如下几方面原因:1. 资源利用率出现瓶颈(CPU/IO/Memory)2. 工作负载不符合预期3. 查询不够优化## 资源利用率出现瓶颈通常来说,当查询运行缓慢时,我们应当先检查资源利用率是否出现瓶颈,需要重点检查 CPU 利用率是否超出预期,是否 IO 出现瓶颈,剩余内存是否偏低。## 工作负载不符合预期由于业务的快速增长,数据库压力可...
自建数据库与RDS性能对比注意事项
即客户端和数据库实例在同一可用区。常见的部署架构有:1. 应用 与 ECS 自建数据库和 RDS 实例的主节点位于同一可用区。2. ECS 自建数据库与 RDS 实例的主节点位于同一个可用区。应用位于同一区域下的另一个可用区。注意:在本地自建数据库与应用如果安装到同一实例,那么应用与数据库之前的网络路径更短。# 实例规格本地自建数据库,与 ECS 自建数据库和 RDS实例请保持相同的 CPU 核数与内存大小。同时,磁盘性能需要重点...
自建数据库与RDS性能对比注意事项
即客户端和数据库实例在同一可用区。常见的部署架构有:1. 应用 与 ECS 自建数据库和 RDS 实例的主节点位于同一可用区。2. ECS 自建数据库与 RDS 实例的主节点位于同一个可用区。应用位于同一区域下的另一个可用区。注意:在本地自建数据库与应用如果安装到同一实例,那么应用与数据库之前的网络路径更短。# 实例规格本地自建数据库,与 ECS 自建数据库和 RDS实例请保持相同的 CPU 核数与内存大小。同时,磁盘性能需要重点考虑...
分布式数据库TiDB的设计和架构
它跟其他数据库产品相比,它的核心优势是什么?此次夜校分享,xiaoyu向大家介绍了数据库发展史、TiDB 设计、架构及生态及TiDB在得物的应用。数据库技术发展演进**2008年以前**2008 年以前应用最为广泛的是单机关系型数据库(SQL),能很好的解决复杂的数据运算及表间处理,多用于银行、电信等传统行业复杂业务逻辑场景中,以 Oracle 为代表。此类数据库挑战在于成本高,随着数据量增加,只能通过购买更贵更好的服务器;无法线性扩容...
