数据库基本概念思维导图
社区干货
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 其实在1983年列存概念就在Cantor论文【11】中提出了,85年Copeland and Khoshafian在SIGMOD上首次提出了DSM,参见《A decomposition storage model》论文【12】,但是在90s年到2000s年,列存的主要研究领域还是停留在怎...
字节跳动数据库的过去、现状与未来
数据库技术一直是信息技术中极其重要的一环,在步入云原生时代后,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。从 2018 到 2021 年... 代理层主要负责数据库的一些接入工作,比如鉴权、流量染色、流量分发等;* **Database 层**:这一层部署着数据库的一些实例,通过数据库的 Binlog 实现数据的同步、高可用。整体来讲,第一代数据库系统架构以开源...
[数据库论文研读] HTAP行列混存 & 智能转换
概念,且一个事务中多为混合操作(read/write/update/delete),而OLAP中根本没有“事务”的概念,基本上可以认为只有read/scan操作。- OLTP应用在存储侧的layout一般为行存,OLAP应用则一般为列存因为OLTP和OLAP... 称为HTAP数据库罢了。这么做的话数据仍然要存两份(row & column),管控面的麻烦从外部转移到内部而已,并没有什么实际的架构创新。**所以,本论文提出了一种新的想法,**不再“分而治之”,而是要构建一个统一的存储层...
特惠活动
数据库基本概念思维导图-优选内容
数据库基本概念思维导图-相关内容
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
字节跳动数据库的过去、现状与未来
> 日前,字节跳动技术社区 ByteTech 举办的第四期字节跳动技术沙龙圆满落幕,本期沙龙以《字节云数据库架构设计与实战》为主题。在沙龙中,字节跳动基础架构数据库资深工程师张雷,跟大家分享了《[字节跳动数据库的过去... **Proxy 层:** 代理层主要负责数据库的一些接入工作,比如鉴权、流量染色、流量分发等;- **Database 层:** 这一层部署着数据库的一些实例,通过数据库的 Binlog 实现数据的同步、高可用。整体来讲,第一代数...
VikingDB:大规模云原生向量数据库的前沿实践与应用
而向量数据库又是以 embedding 作为核心概念,并围绕其提供存储检索能力的基础软件,因此可以说 **向量数据库是 AI 原生应用程序的基础设施** 。为了更好地胜任 AI 基础设施的角色和贴合大模型的生态,VikingDB 集成了常用的 embedding 模型,用户可以方便地导入、检索文本等非结构化数据,之后 VikingDB 再自动将其转换为向量并存储,最终提供检索能力。除了近似向量检索,VikingDB 还提供聚类查询、基于向量的相关性排序和多样...
常见概念
本文汇总了云数据库 MySQL 版实例的常见概念和具体说明。 术语 概念 地域 ( Region ) 数据所在的地理位置。 可用区( Availability Zones ) 简称 AZ 。每个地域都有多个相互隔离的区域,称为可用区。 实例 ( I... MySQL 实例对外提供服务的基础节点。 备节点( Secondary Node ) 备数据节点,在主节点故障时,可切换为主节点并对外提供服务的备用节点。 只读节点( Read-Only Node ) 提供只读能力的节点,负责处理只读请求,分摊主节...
常用概念
云数据库 veDB MySQL 版服务器所处的地理位置。您可以在创建云数据库 veDB MySQL 版实例时指定地域,实例创建成功后不支持更改。 可用区(Availability Zones) 指在同一地域下,电力、网络互相隔离的物理区域。可用区之间内网互通,可用区内网络延时更小,不同可用区之间可实现故障隔离。 实例(Instance) 云数据库 veDB MySQL 版进行云资源管理的基本单位。 实例名称(Instance Name) 用户可以自定义云数据库 veDB MySQL 版实例的名称...
常见概念
本文汇总了云数据库 PostgreSQL 版实例的常见概念和具体说明。 术语 概念 地域 (Region) 数据所在的地理位置。 可用区(Availability Zones) 简称 AZ。每个地域都有多个相互隔离的区域,称为可用区。 实例 (Insta... PostgreSQL 实例对外提供服务的基础节点。 备节点(Secondary Node) 备数据节点,在主节点故障时,可切换为主节点并对外提供服务的备用节点。 只读节点(Read-Only Node) 提供只读能力的节点,负责处理只读请求,分摊主节...
【通俗讲解】向量数据库的崛起|社区征文
# 前言在过去一年多的时间中GPT火爆全网,被大家熟知,GPT概念更是收割市场,被预测为下一个风口,资本纷纷入场, AI 应用的发展如火如荼,带动了 AI 应用产业链上下游的火爆,而向量数据库就是其中最热门的应用之一。... 推荐系统等提供了基础。常见的 Vector Embedding 模型包括 Word2Vec、GloVe(Global Vectors for Word Representation)、BERT(Bidirectional Encoder Representations from Transformers)等。这些模型通过学习大量...
数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计
这是字节跳动基础架构 计算-实时引擎, 创新应用中心, 存储-HDFS & NoSQL 团队共同合作研发的新一代面向复杂业务的实时服务分析系统(HSAP: Hybrid Serving and Analytical Processing),希望能在应对大数据复杂分析场... Rowset 有版本号的概念,同一个 Primary Key 对应的行可能在不同的 Rowset 中存在多份,读的时候多个版本的数据会按照不同的 Merge 算法合并为一份。Tablet 的 Commit Version 为该 Tablet 下 Rowset 的最大版本号,比...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火... * 向量检索概念以及在 LLM 场景的应用* 当前业界向量数据库发展情况* ClickHouse 结合向量检索的优势,以及社区当前向量检索局限性与性能问题分析* ByteHouse 向量检索功能设计思路介绍* 性能比较**《在火山...
