数据库与应用第一章思维导图
社区干货
VikingDB:大规模云原生向量数据库的前沿实践与应用
VikingDB 在字节内部的应用向量数据库近来的火热来源于大语言模型的兴起,但在大模型兴起之前,VikingDB 已经在字节内部广泛应用,最初应用在推荐、广告、搜索的召回环节,后来逐步扩展到了消重、风控、对话、文档搜... 索引参数以及硬件等维度表示了精度和延迟之间的取舍。最左侧第一张图相对比较了 FLAT、IVF、HNSW 这三种索引算法的计算精度和延迟。向量检索的计算和访存 IO 都非常重,为了提高查询效率,ANN 索引都会对数据做剪...
自建数据库与RDS性能对比注意事项
数据库版本,参数配置等。# 网络环境由于公网网络环境的不可预测性,在性能测试时,不论 ECS 自建数据库还是 RDS,请均使用内网环境,即客户端和数据库实例在同一可用区。常见的部署架构有:1. 应用 与 ECS 自建数据库和 RDS 实例的主节点位于同一可用区。2. ECS 自建数据库与 RDS 实例的主节点位于同一个可用区。应用位于同一区域下的另一个可用区。注意:在本地自建数据库与应用如果安装到同一实例,那么应用与数据库之前的网络...
自建数据库与RDS性能对比注意事项
数据库版本,参数配置等。# 网络环境由于公网网络环境的不可预测性,在性能测试时,不论 ECS 自建数据库还是 RDS,请均使用内网环境,即客户端和数据库实例在同一可用区。常见的部署架构有:1. 应用 与 ECS 自建数据库和 RDS 实例的主节点位于同一可用区。2. ECS 自建数据库与 RDS 实例的主节点位于同一个可用区。应用位于同一区域下的另一个可用区。注意:在本地自建数据库与应用如果安装到同一实例,那么应用与数据库之前的网...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎的三位技术专家,将从火山引擎的实践应用出发, **为大家详解向量检索功能的设计实现以及大规模云原生向量数据库的核心技术和优化** ,和大家共同探讨大模型时代向量数据库的落地实践。⏰ **时间**: **2...
特惠活动
数据库与应用第一章思维导图-优选内容
数据库与应用第一章思维导图-相关内容
分布式数据库在抖音春晚活动中的应用
既然开源的 MySQL 和开源的 PG 发展得这么好,它们的生态非常完善,用户也非常多,排名也很靠前,我们为什么还需要去开发分布式数据库?这个问题的答案其实也比较显而易见,就是原有的架构不能很好地满足我们内部应用的需... 我们又绕回到第一个问题 ,要使用中间件支持,会遇到一些限制。第三点是传统单机数据库在部署和使用上可能会存在 **跨机房** 的问题,我们可能要在 RPO 和性能之间取得 tradeoff。既然传统的大型数据库系统架构...
分布式数据库TiDB的设计和架构
也知道是一款国人研发的数据库,但你知道TiDB到底是如何实现的?它跟其他数据库产品相比,它的核心优势是什么?此次夜校分享,xiaoyu向大家介绍了数据库发展史、TiDB 设计、架构及生态及TiDB在得物的应用。# 数据库... 只要第一批结果已经返回,就可以开始去取 Table 的数据,所以这里是一个并行 + Pipeline 的模式,虽然有两次访问的开销,但是延迟并不会很大。**以下情况不会涉及到两次访问的问题:****索引中的列已经满足了查询需...
一文了解数据库事务和隔离级别 | 社区征文
第一次转 500,第二次也转 500,如果我们把这两次转钱操作分别称为 T1 和 T2,则在正常情况下,应该是一次一次的来进行转账,但在数据库中可能出现交替的情况,如:| T1 | T2 || -------------... 所以一些应用程序降低隔离级别以换取更大的吞吐量。不同业务场景下使用不同的数据库事物隔离性,部分关键业务采用隔离性高的隔离级别,以保证数据正确性。MySQL 四种事物隔离级别:- **Read Uncommitted**(读未...
活动预告 | 加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。 3 月23 日,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎的三位技术专家,将从火山引擎的实践应用出发,为大家详解向量检索功能的设计实现以及大规模云原生向量数据库的核心技术和优化,和大家共同探讨大模型时代向量数据库的落地实践。 ⏰时间:2024/03/23(周六...
自建高性能数据库-选型与性能测试
本文介绍如何选择火山引擎云服务器自建各类高性能数据库。 一、场景描述数据库一直是构建现代应用的重要组件,几乎所有应用都始于数据并终于数据。随着数据驱动时代的到来,数据更是无处不在,进一步成为未来创新的基石。 在应用的微服务化、数据类型多样化的大趋势下,单一种类的数据库已经无法满足现代应用的需求,因此各类专门构建的数据库应运而生,包括关系数据库、键值数据库、文档数据库、内存中数据库、图形数据库、时间序列数...
字节跳动数据库的过去、现状与未来
伴随业务和数据的迅猛增长,字节跳动的分布式数据库系统取得了令人振奋的发展。如下图所示,在这 4 年间,公司应用侧容器数量从 5 万个增长到了 750 万个,截至目前已经突破 1000 万。这 1000 万个容器筑成了字节跳动坚... 数十万数据库实例,因此在原有产品体系基础上,我们引入了 HTAP、Serverless DB、MemDB 等产品和技术,在运维体系上,也引入 AI 技术,使得运维更加智能化。## 字节跳动数据库的“过去”第一代数据库系统架构主要分...
字节跳动数据库的过去、现状与未来
伴随业务和数据的迅猛增长,字节跳动的分布式数据库系统取得了令人振奋的发展。如下图所示,在这 4 年间,公司应用侧容器数量从 5 万个增长到了 750 万个,截至目前已经突破 **1000 万** 。这 1000 万个容器筑成了字节... MemDB 等产品和技术,在运维体系上,也引入 AI 技术,使得运维更加智能化。 字节跳动数据库的“过去” 第一代数据库系统架构主要分三层,示意图如下: