数据库原理及应用图
社区干货
分布式数据库在抖音春晚活动中的应用
上图是现有的或者主流的大型数据库系统的架构,它分为三层:- 最上一层是应用,今日头条,抖音,西瓜视频等都是应用。- 中间层是数据库中间件层。- 底层是数据库层以及数据库下面的单机存储。这个架构应该是... 但只要是基于 log 和 Page 这种机制的数据库,我们理论上都是可以支持的。背后的原理其实是我们在存储层做了一层统一泛化的抽象,基于 log is the database 的思想,做了很多从 log 到 Page 转化的通用接口。基于这些...
VikingDB:大规模云原生向量数据库的前沿实践与应用
VikingDB 在字节内部的应用向量数据库近来的火热来源于大语言模型的兴起,但在大模型兴起之前,VikingDB 已经在字节内部广泛应用,最初应用在推荐、广告、搜索的召回环节,后来逐步扩展到了消重、风控、对话、文档搜... 上面几张图从索引算法、量化方式、索引参数以及硬件等维度表示了精度和延迟之间的取舍。最左侧第一张图相对比较了 FLAT、IVF、HNSW 这三种索引算法的计算精度和延迟。向量检索的计算和访存 IO 都非常重,为了提高...
分布式数据库在抖音春晚活动中的应用
上图是现有的或者主流的大型数据库系统的架构,它分为三层:* 最上一层是应用,今日头条,抖音,西瓜视频等都是应用。* 中间层是数据库中间件层。* 底层是数据库层以及数据库下面的单机存储。这个架构应该是比较... 但只要是基于 log 和 Page 这种机制的数据库,我们理论上都是可以支持的。背后的原理其实是我们在存储层做了一层统一泛化的抽象,基于 log is the database 的思想,做了很多从 log 到 Page 转化的通用接口。基于这些...
分布式数据库TiDB的设计和架构
也知道是一款国人研发的数据库,但你知道TiDB到底是如何实现的?它跟其他数据库产品相比,它的核心优势是什么?此次夜校分享,xiaoyu向大家介绍了数据库发展史、TiDB 设计、架构及生态及TiDB在得物的应用。数据库技... 图|TiDB整体架构### TiDB ServerSQL 层,对外暴露 MySQL 协议的连接 endpoint,负责接受客户端的连接,执行 SQL 解析和优化,最终生成分布式执行计划。TiDB 层本身是无状态的,实践中可以启动多个 TiDB 实例,通过负...
特惠活动
数据库原理及应用图-优选内容
数据库原理及应用图-相关内容
火山引擎新一代数据库的探索与实践
数据库的形态也随之发生了很大变化,各类数据库不断涌现。在基础设施全面云原生化的今天,火山引擎的云原生数据库如何面对数亿日活应用访问下超过 EB 级别的海量存储规模?对于更复杂的非结构化数据类型,火山引擎的... **《云原生数据库 veDB 核心技术剖析与展望》**张雷|火山引擎数据库技术负责人veDB 是一款分布式数据库,采用了云原生计算存储分离架构。本次演讲将为大家介绍火山引擎这款云原生数据库的核心技术原理,并对未...
加速大模型落地:火山引擎向量数据库的实践应用
向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎的三位技术专家,将从火山引擎的实践应用出发... 向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与 AI 技术的广泛使用,用户期望处理的向量数据规模越来越大,对向量数据库产品的稳定性、易用性与性能需求也越来越高。为此火山引擎Byte...
架构原理
本文介绍数据库传输服务 DTS 服务的整个系统架构和原理。 数据迁移 结构迁移:读取源库表结构定义语法,重新组装成目标库的语法格式。 全量迁移:全量读取源表内容并写到对应的目标表。 增量迁移:目标库增量日志解析和回放,实现数据在线迁移。 后置结构迁移:为保证数据迁移的性能和迁移任务的稳定性,部分数据库迁移对象会在增量迁移结束后进行创建。需要进行后置结构迁移的对象包括:MySQL:TRIGGER、EVENT。 PostgreSQL:TRIGGER、RUL...
一文了解数据库事务和隔离级别 | 社区征文
## 1. 什么是事务事务是数据库管理系统(DBMS)执行过程中的一个逻辑单位(不可再进行分割),由一个有限的数据库操作序列构成(多个DML语句,select语句不包含事务),要不全部成功,要不全部不成功。如 A 给 B 要划钱,... 所以一些应用程序降低隔离级别以换取更大的吞吐量。不同业务场景下使用不同的数据库事物隔离性,部分关键业务采用隔离性高的隔离级别,以保证数据正确性。MySQL 四种事物隔离级别:- **Read Uncommitted**(读未...
分布式数据库TiDB的设计和架构
市场上有很多数据库产品,如Oracle、MySQL、SQLServer、NoSQL、NewSQL等,那么目前数据库圈最火的分布式关系型数据库之一TiDB你了解吗?相信很多同学以前听说过TiDB,也知道是一款国人研发的数据库,但你知道TiDB到底是如何实现的?它跟其他数据库产品相比,它的核心优势是什么?此次夜校分享,xiaoyu向大家介绍了数据库发展史、TiDB 设计、架构及生态及TiDB在得物的应用。# 数据库技术发展演进**2008年以前**2008 年以前应用最为...
什么是数据库传输服务
数据库传输服务 DTS(Database Transmission Service)是一款集数据迁移、同步和订阅于一体的数据流服务,支持关系型数据库、非关系型数据库等数据源间的数据交互,降低数据库之间数据流通的复杂性。帮助您在业务不停服... 非关系型数据库的数据传输。相较于第三方迁移工具,数据库传输服务 DTS 可以更方便地创建和管理丰富多样、高性能、高安全可靠的传输链路。更多详情,请参见产品优势。 架构原理数据库传输服务 DTS 提供不停机迁移解决...
基于云数据库 PostgreSQL 版构建智能交互式问答系统
本文就如何利用云数据库 PostgreSQL 版和大语言模型技术(Large Language Model,简称 LLM),实现企业级智能交互式问答系统进行介绍。通过本文,您将学习了解到:交互式问答系统原理、PostgreSQL 向量化存储和检索技术,... 来演示将云数据库 PostgreSQL 版作为向量数据库的使用方法。 核心概念及原理核心概念:嵌入向量(Embedding Vectors)向量 Embedding 是在自然语言处理和机器学习中广泛使用的概念。各种文本、图片或其他信号,均可通过...
加速大模型落地:火山引擎向量数据库的实践应用
数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎云搜索服务的技术专家,将从火山引擎的实践应用出发... 随着图片和视频数据的爆炸式增长,人们对于多样化数据搜索的需求也越来越迫切。多模态搜索场景已经成为当前搜索领域的主要趋势。在这个背景下,本次演讲将重点介绍字节跳动在混合搜索领域的探索,并探讨如何在多模态数...
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 数据排列结构如下图所示:列存和行存的区别主要是在存储时将多行数据的相同colum...
