数据库概念一张图
社区干货
分布式数据库在抖音春晚活动中的应用
相信对数据库感兴趣的同学对上面这张图也不会陌生。这张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月份的榜单上,MySQL 和 PG 都是关系型数据库的 Top5。这就意味着,如果我们想... 我们的系统分为三个层次:- 最上面是代理层;- 中间是计算层;- 最底层是分布式存储层。可以看到三层之间各个节点是通过高速的网络互联,各层计算节点之间是没有直接的网络交互的。最底层的分布式存储层是...
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
字节跳动数据库的过去、现状与未来
数据库技术一直是信息技术中极其重要的一环,在步入云原生时代后,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。从 2018 到 2021 年... 代理层主要负责数据库的一些接入工作,比如鉴权、流量染色、流量分发等;* **Database 层**:这一层部署着数据库的一些实例,通过数据库的 Binlog 实现数据的同步、高可用。整体来讲,第一代数据库系统架构以开源...
特惠活动
数据库概念一张图-优选内容
数据库概念一张图-相关内容
[数据库系统] 业界列式存储浅析
在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况下,数据一般采用一... 上帝开启了一扇门,也会关起一扇窗,列存在更新场景明显存在缺陷,每insert/update/delete 一行数据,由于会去更新存在在不同位置的column,会带来IO放大,且为随机IO。# 发展其实在1983年列存概念就在Cantor论文【1...
常见概念
本文汇总了云数据库 MySQL 版实例的常见概念和具体说明。 术语 概念 地域 ( Region ) 数据所在的地理位置。 可用区( Availability Zones ) 简称 AZ 。每个地域都有多个相互隔离的区域,称为可用区。 实例 ( I... VPC 是一种隔离的网络环境,安全性和性能均高于传统的经典网络。 高可用( High Availability ) 简称 HA 。通过主备架构保障业务稳定性,在主节点出现故障后,会自动检测并完成秒级主备切换。 读写分离( Read/Write S...
VikingDB:大规模云原生向量数据库的前沿实践与应用
而向量数据库又是以 embedding 作为核心概念,并围绕其提供存储检索能力的基础软件,因此可以说 **向量数据库是 AI 原生应用程序的基础设施** 。为了更好地胜任 AI 基础设施的角色和贴合大模型的生态,VikingDB ... 上面几张图从索引算法、量化方式、索引参数以及硬件等维度表示了精度和延迟之间的取舍。最左侧第一张图相对比较了 FLAT、IVF、HNSW 这三种索引算法的计算精度和延迟。向量检索的计算和访存 IO 都非常重,为了提高...
常见概念
本文汇总了云数据库 PostgreSQL 版实例的常见概念和具体说明。 术语 概念 地域 (Region) 数据所在的地理位置。 可用区(Availability Zones) 简称 AZ。每个地域都有多个相互隔离的区域,称为可用区。 实例 (Insta... 通过私网访问 PostgreSQL 实例(例如 ECS 和 PostgreSQL 实例处于同一个 VPC 内)时的连接地址。 公网地址(Public Address) 通过公网访问 PostgreSQL 实例时的连接地址。
字节跳动数据库的过去、现状与未来
字节跳动基础架构数据库资深工程师张雷,跟大家分享了《[字节跳动数据库的过去、现状与未来](https://mp.weixin.qq.com/s/4Bvo0EBo_xtKdVcqhGynCQ)》,本文根据分享整理而成。数据库技术一直是信息技术中极其重要的... **Proxy 层:** 代理层主要负责数据库的一些接入工作,比如鉴权、流量染色、流量分发等;- **Database 层:** 这一层部署着数据库的一些实例,通过数据库的 Binlog 实现数据的同步、高可用。整体来讲,第一代数...
分布式数据库在抖音春晚活动中的应用
相信对数据库感兴趣的同学对上面这张图不会陌生。这张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月份的榜单上,MySQL 和 PG 都是关系型数据库的 Top5。这就意味着,如果想做... 我们的系统分为三个层次:* 最上面是 **代理层** ;* 中间是 **计算层** ;* 最底层是 **分布式存储层** 。可以看到三层之间各个节点是通过高速的网络互联,各层计算节点之间是没有直接的网络交互的。最底层...
[数据库论文研读] HTAP行列混存 & 智能转换
OLTP中一般有“事务”的概念,且一个事务中多为混合操作(read/write/update/delete),而OLAP中根本没有“事务”的概念,基本上可以认为只有read/scan操作。- OLTP应用在存储侧的layout一般为行存,OLAP应用则一... 然后再实现一个coordinator(sync method)来协调两侧。**笔者认为,这么做无非是把外边的多套子系统称为子模块,取消了原本的后台数据同步机制,整合到一个黑盒里,称为HTAP数据库罢了。这么做的话数据仍然要存两份(row...
常用概念
本文汇总了云数据库 veDB MySQL 版的相关术语。 术语 说明 地域(Region) 云数据库 veDB MySQL 版服务器所处的地理位置。您可以在创建云数据库 veDB MySQL 版实例时指定地域,实例创建成功后不支持更改。 可用区(Availability Zones) 指在同一地域下,电力、网络互相隔离的物理区域。可用区之间内网互通,可用区内网络延时更小,不同可用区之间可实现故障隔离。 实例(Instance) 云数据库 veDB MySQL 版进行云资源管理的基本单位...
【通俗讲解】向量数据库的崛起|社区征文
# 前言在过去一年多的时间中GPT火爆全网,被大家熟知,GPT概念更是收割市场,被预测为下一个风口,资本纷纷入场, AI 应用的发展如火如荼,带动了 AI 应用产业链上下游的火爆,而向量数据库就是其中最热门的应用之一。... 对于一张图像,特征可以包括像素值、颜色直方图等;对于文本,特征可以是单词频率、词性等。**向量(Vector):** - 向量是一个有序的数学对象,由一列数字组成,可以表示空间中的一个点。 - 在机器学习中,向量常用...
