数据库系统概念思维导图
社区干货
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 在存储是系统瓶颈的时代无疑是一大灾难,而且会影响内存中cache的使用效率;在计算时,由于行数据在内存中是顺序存储在一起的,所以对 cpu cache 也很不友好。 列存就是解决上述问题的灵丹妙药,首先读取时只需要读取关...
字节跳动数据库的过去、现状与未来
云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。从 2018 到 2021 年,伴随业务和数据的迅猛增长,字节跳动的分布式数据库系统取得了令... AWS 结合 OLTP 和云原生发布了分布式数据库 Aurora,结合 OLAP 与云原生发布 Redshift,包括 BigData 也正与数据湖概念结合,衍生出一些新形态。除此之外,近几年行业又开始流行 HTAP,把云、OLAP、BigData 做有机结...
分布式数据库TiDB的设计和架构
传统数据库高成本,无法线性扩容问题日益突显;分布式及分布式非关系型(NoSQL)开始快速发展,如 MongoDB,HBase。但此类数据库的局限在于无法处理交易类数据及复杂业务逻辑的特性,限制其在非互联网领域的发展。**2013年以后**2013年以来,有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同...
[数据库论文研读] HTAP行列混存 & 智能转换
概念,且一个事务中多为混合操作(read/write/update/delete),而OLAP中根本没有“事务”的概念,基本上可以认为只有read/scan操作。- OLTP应用在存储侧的layout一般为行存,OLAP应用则一般为列存因为OLTP和OLAP... 这么做无非是把外边的多套子系统称为子模块,取消了原本的后台数据同步机制,整合到一个黑盒里,称为HTAP数据库罢了。这么做的话数据仍然要存两份(row & column),管控面的麻烦从外部转移到内部而已,并没有什么实际的架...
特惠活动
数据库系统概念思维导图-优选内容
数据库系统概念思维导图-相关内容
字节跳动数据库的过去、现状与未来
云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。从 2018 到 2021 年,伴随业务和数据的迅猛增长,字节跳动的分布式数据库系统取得了令... AWS 结合 OLTP 和云原生发布了分布式数据库 Aurora,结合 OLAP 与云原生发布 Redshift,包括 BigData 也正与数据湖概念结合,衍生出一些新形态。除此之外,近几年行业又开始流行 HTAP,把云、OLAP、BigData 做有机结合...
分布式数据库TiDB的设计和架构
传统数据库高成本,无法线性扩容问题日益突显;分布式及分布式非关系型(NoSQL)开始快速发展,如 MongoDB,HBase。但此类数据库的局限在于无法处理交易类数据及复杂业务逻辑的特性,限制其在非互联网领域的发展。**2013年以后**2013年以来,有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同...
VikingDB:大规模云原生向量数据库的前沿实践与应用
而向量数据库又是以 embedding 作为核心概念,并围绕其提供存储检索能力的基础软件,因此可以说 **向量数据库是 AI 原生应用程序的基础设施** 。为了更好地胜任 AI 基础设施的角色和贴合大模型的生态,VikingDB ... 会对数据系统造成稳定性相关的影响。特别是在导入非结构化数据这类场景,有计算 embeeding 这类高耗时的操作。为了避免单一用户的突发写入占用过多资源影响其他用户,VikingDB 引入了quota 和异步多队列机制来保证租...
数据库顶会 VLDB 2023 论文解读 - Krypton: 字节跳动实时服务分析 SQL 引擎设
**“Krypton 源于 DC 宇宙中的氪星,它是超人的故乡,以氪元素命名 ”。**# 引言近些年, 在复杂的分析需求之外,字节内部的业务对于实时数据的在线服务能力也提出了更高的要求。大部分业务不得不采用多套系统来应... Rowset 有版本号的概念,同一个 Primary Key 对应的行可能在不同的 Rowset 中存在多份,读的时候多个版本的数据会按照不同的 Merge 算法合并为一份。Tablet 的 Commit Version 为该 Tablet 下 Rowset 的最大版本号,...
数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计
大部分业务不得不采用多套系统来应对不同的 Workload,虽然能满足需求,但也带来了不同系统数据一致性的问题,多个系统之间的 ETL 也浪费了大量的资源, 同时对于研发人员来讲,也不得不学习维护多套系统。为了解决这个... Rowset 有版本号的概念,同一个 Primary Key 对应的行可能在不同的 Rowset 中存在多份,读的时候多个版本的数据会按照不同的 Merge 算法合并为一份。Tablet 的 Commit Version 为该 Tablet 下 Rowset 的最大版本号,比...
基于云数据库 PostgreSQL 版构建智能交互式问答系统
该方法基于向量数据库,补充足够的对话上下文和参考资料,完善与大语言模型进行交互的问答问题(Prompt),其本质是将大语言模型的推理归纳能力与向量化信息检索能力相结合,从而快速建立能够理解特定语境和逻辑的问答系统。该方法的实现成本相对较低。 接下来,本文针对 Prompt Engineering 方法,来演示将云数据库 PostgreSQL 版作为向量数据库的使用方法。 核心概念及原理核心概念:嵌入向量(Embedding Vectors)向量 Embedding 是在自...
创建并启动数据订阅任务
数据库传输服务 DTS 提供多种类型的数据库订阅服务。本文以创建火山引擎版 MySQL 数据订阅任务为例,介绍如何通过 DTS 创建并启动数据订阅任务。 前提条件已创建 RDS MySQL 实例和数据库。详细信息,请参见创建源 RD... 项目是一个虚拟的概念,包括一组资源、用户和角色。通过项目可以对一组资源进行统一的查看和管理,并且控制项目内用户和角色对这些资源的权限。 标签 (可选)单击添加标签,设置标签键和标签值,为实例添加标签。标...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火... * 向量检索概念以及在 LLM 场景的应用* 当前业界向量数据库发展情况* ClickHouse 结合向量检索的优势,以及社区当前向量检索局限性与性能问题分析* ByteHouse 向量检索功能设计思路介绍* 性能比较**《在火山...
活动预告 | 加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。 3 月23 日,火山引擎开发者社区 Meetup 第十三期邀请到了火... 向量检索概念以及在 LLM 场景的应用2. 当前业界向量数据库发展情况3. ClickHouse 结合向量检索的优势,以及社区当前向量检索局限性与性能问题分析4. ByteHouse 向量检索功能设计思路介绍5. 性能比较