数据库设计需要画那些图-优选内容
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况下,数据一般采用一个一个的数据块进行存储,利用顺序读写提升性能。行存的实现一般是将一行数据完整的从头到尾连续存储(超长的字段一般会单独存储,行内记录逻辑地址),连续多行构成一个页,页的尾部通常会存储索引来解决...
[数据库论文研读] HTAP行列混存 & 智能转换
称为HTAP数据库罢了。这么做的话数据仍然要存两份(row & column),管控面的麻烦从外部转移到内部而已,并没有什么实际的架构创新。**所以,本论文提出了一种新的想法,**不再“分而治之”,而是要构建一个统一的存储层... 所以如果我们要做HTAP系统,就应该汲取它们各自的优点,设计一种比较平衡的layout,即FSM,全称Flexible Storage Model。# 简单实验### Query Pattern![1626925577682_44cb3f8059e77ff85541203443c60486.png](h...
一文读懂火山引擎云数据库产品及选型
主要用在大数据、OLAP 场景。其特点是可以提供海量的存储容量,PB 级别数据量可以轻松存储,并且成本较低。时序型 NoSQL 数据库主要应用在一些与时间强相关的数据模型,例如 IoT、监控数据等场景。对于时间序列相关的数据,时序型 NoSQL 数据库的处理与关系型数据库的处理方式是不一样的,时序型 NoSQL 数据库主要是有效地收集、存储和查询高频产生的各种时间序列数据,对此做了专门的设计和优化,专门用于这类场景。图 NoSQL 数据库...
三范式
一般来说"住址"设计成一个字段就行,但是如果经常访问"住址"中城市的部分,那么就非要将"住址"这个属性重新拆分为"省份"、"城市"、"地址"等多个部分进行存储,这样在对"住址"中某一部分进行操作的时候将非常方便。这么设计才算满足了数据库的第一范式,修改之后的表结构如图:**第二范式:保证一张表只...
数据库设计需要画那些图-相关内容
一文读懂火山引擎云数据库产品及选型
主要用在大数据、OLAP场景。其特点是可以提供海量的存储容量,PB级别数据量可以轻松存储,并且成本较低。时序型NoSQL数据库主要应用在一些与时间强相关的数据模型,例如IoT、监控数据等场景。对于时间序列相关的数据,时序型NoSQL数据库的处理与关系型数据库的处理方式是不一样的,时序型NoSQL数据库主要是有效地收集、存储和查询高频产生的各种时间序列数据,对此做了专门的设计和优化,专门用于这类场景。图NoSQL数据库主要用于处...
抖音大规模实践,火山引擎向量数据库是这样炼成的
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式AI应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对比... 比如图虫拥有几亿图片素材,数量规模早已超出单机内存的极限,举个例子,对于1亿条128维的Float向量,不考虑任何辅助结构,就需要100000000 * 128 * 4 bytes 也就是约48GB的服务器内存。研发团队设计了一套存算分离的...
mysql 应用说明
mysql 应用允许您在边缘一体机上部署 MySQL 数据库。 MySQL 是一种快速、可靠、可扩展且易于使用的开源关系数据库系统。专为处理任务关键型、重负载生产应用程序而设计。 参数设置 您可以在以下场景修改默认的参数值: 部署 mysql 应用到一体机时,通过 参数配置 指定参数配置 部署 mysql 应用到一体机后,通过 编辑Yaml文件 修改参数配置 以下 YAML 文件罗列了 mysql 应用的默认参数配置。关于参数值的具体含义,请参见 YAML 文件...
数据库顶会 VLDB 2023 论文解读 - Krypton: 字节跳动实时服务分析 SQL 引擎设
上图是字节典型的广告后端架构,数据通过 Kafka 流入不同的系统。对于离线链路,数据通常流入到 Spark/Hive 中进行计算,结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。对于实时链路, 数据会直... 我们希望设计一款能够应对各种 Workload 的系统,对于不同的 Workload,系统的各个组件都可以自由的进行伸缩。1. 高并发低时延。为了应对线上 Serving 场景的需求,系统需要能够满足百万级别的并发和毫秒级别的时延...
RDS for MySQL 慢SQL问题分析
[图片](https://lf3-volc-editor.volccdn.com/obj/volcfe/sop-public/upload_a97d36beb6b05590c845979bf89faa28.png)# 问题分析在真实的使用场景中,总体的架构设计和数据库表设计都会影响数据库的查询性能,优秀的架构设计会提高数据库整体的性能,反之会出现性能问题。出现慢 SQL 主要有如何几点原因:* 数据库表结构设计不合理,表中没有索引,大量的全表扫描或者扫描行数太多。* 表中数据量发生变化,但是统计信息未及时更新。...
火山引擎上云迁移指南(一):上云迁移背景与流程
需要根据业务发展的实际需要来进行操作。当以上的情况出现时,建议保留现状,不需要强行进行迁移上云的操作。 |## 云迁移流程火山引擎作为专业的云服务商,具备成熟的上云迁移方法论,同时能够熟练的使用云迁移相关工具,迁移上云的过程可分为分析、设计、实施及验收优化四个阶段。1. **调研评估:** 项目根据整个迁移计划,调研应用的系统架构图,数据库信息,系统整体压力情况,系统底层部署情况,商业软件依赖等等方面内容。 2. ...
表设计之数据类型优化 | 社区征文
每个索引记录需要一个额外的字节。通常把可为 NULL 的列改为 NOT NULL 带来的性能提升比较小,所以(调优时)没有必要首先在现有 schema 中查找并修改掉这种情况,除非确定这会导致问题。但是,如果计划在列上建索引,就应该尽量避免设计成可为 NULL 的列。## 3. 整数类型存储整数,可以使用这几种整数类型:TINYINT,SMALLINT,MEDIUMINT,INT,BIGINT。分别使用 8,16,24,32,64 位存储空间,也就是 1、2、3、4、8 个字节。它们可以存储...