数据库技术基础课程图
社区干货
字节跳动自研万亿级图数据库 & 图计算实践
本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术团队图状结构数据广泛存在 ... 业界在线上被验证稳定可信赖的开源图存储系统基本没有满足的了;另外,对于一个承载公司核心数据的重要的基础设施,是值得长期投入并且深度掌控的。因此,我们在 18 年 8 月份,开始从第一行代码开始踏上图数据库的漫...
火山引擎ByteHouse:“专用向量数据库”与“数据库+向量扩展”,怎么选?
向量数据库的核心实现原理是向量化存储和索引技术。向量化存储是将向量数据转换为二进制格式进行存储,以提高存储效率和查询速度。向量索引是将向量数据进行索引,以便快速地进行相似度匹配和聚类分析等操作。向量数据库中的向量是由多个维度组成的,每个维度代表向量的一个特征。例如,一张图片可以表示为一个三维向量,分别代表图片的宽度、高度和颜色。向量数据库中的向量可以是稠密向量或稀疏向量,稠密向量是指向量中大部分维度...
抖音大规模实践,火山引擎向量数据库是这样炼成的
索引和分析来自机器学习模型产生的海量向量数据的数据库系统。其典型应用场景比如:基于大语言模型的智能客服、基于企业知识库的问答以及Chatdoc等工具应用。### **火山引擎****向量数据库****技术演进之路**- ... 即可用原始数据直接写入向量数据库,并用相同的模型将请求数据转换为请求向量进行查询。- **向量数据库技术全景**经过长期的内部探索和优化,抖音采用的向量数据库产品结构如下图所示:基于云基础设施,提供经过...
如何构建企业内的 TiDB 自运维体系
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 以我们 TiDB 基础配置为例,相比 MySQL 成本高出 27%(该成本是用高可用的 MySQL 对标3 TiDB、3 TiKV、3 PD 的 TiDB)。所以得物内部选型,单从资源成本角度考虑,还是首选 MySQL。- - TiDB如果是一个数据量较大且...
特惠活动
数据库技术基础课程图-优选内容
数据库技术基础课程图-相关内容
抖音大规模实践,火山引擎向量数据库是这样炼成的
索引和分析来自机器学习模型产生的海量向量数据的数据库系统。其典型应用场景比如:基于大语言模型的智能客服、基于企业知识库的问答以及Chatdoc等工具应用。### **火山引擎****向量数据库****技术演进之路**- ... 即可用原始数据直接写入向量数据库,并用相同的模型将请求数据转换为请求向量进行查询。- **向量数据库技术全景**经过长期的内部探索和优化,抖音采用的向量数据库产品结构如下图所示:基于云基础设施,提供经过...
如何构建企业内的 TiDB 自运维体系
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 以我们 TiDB 基础配置为例,相比 MySQL 成本高出 27%(该成本是用高可用的 MySQL 对标3 TiDB、3 TiKV、3 PD 的 TiDB)。所以得物内部选型,单从资源成本角度考虑,还是首选 MySQL。- - TiDB如果是一个数据量较大且...
火山引擎DataLeap数据血缘技术建设实践
理解数据以及使数据发挥价值的基础能力。本文将聚焦数据血缘存储和血缘导出,分享数据血缘的模型设计以及优化,并**介绍字节跳动在数据血缘建设过程中所遇到的挑战和技术实现以及数据血缘的具体用例,具体包括数据血缘... 目前主要基于Apache Atlas原生图数据库——JanusGraph。JanusGraph底层支持HBase。我们将每条边的关系作为两边的资产节点的属性,存入到对应RowKey的独立cell中。另外,我们也对存储做了相关的改造,如字节内部自研...
字节跳动数据库的过去、现状与未来
[字节跳动数据库的过去、现状与未来](https://mp.weixin.qq.com/s/4Bvo0EBo_xtKdVcqhGynCQ)》,本文根据分享整理而成。数据库技术一直是信息技术中极其重要的一环,在步入云原生时代后,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。从 2018 到 2021 年,伴随业务和数据的迅猛增长,字节跳动的分布式数据库系统取得了令人振奋的发展。如下图所示,在这...
抖音大规模实践,火山引擎向量数据库是这样炼成的
索引和分析来自机器学习模型产生的海量向量数据的数据库系统** 。其典型应用场景比如:基于大语言模型的智能客服、基于企业知识库的问答以及 Chatdoc 等工具应用。 火山引擎向量数据库技术演进之路... 即可用原始数据直接写入向量数据库,并用相同的模型将请求数据转换为请求向量进行查询。**向量数据库技术全景**经过长期的内部探索和优化,抖音采用的向量数据库产品结构如下图所示: **基于云基础设施,提供经...
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
一文读懂火山引擎云数据库产品及选型
云原生数据库、分布式数据库等等。每一类数据库中使用不同的技术实现,又可以分化出不同的产品类型。根据DB-Engines的统计,数据库产品数量已经有将近400种,数据库厂商也有几百家,如下图所示,不同数据库产品的实际应... 又出现了NoSQL数据库技术,其理论基础主要是由Eric Brewer提出的CAP定理以及Dan Pritchett提出的BASE原则。再往后,业界将关系型数据库与NoSQL数据库的优势进行了融合,出现了NewSQL数据库,随着云原生技术的入场与爆...
一文读懂火山引擎云数据库产品及选型
> **火山引擎存储&数据库产品解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和企业实现业务成功。## 为什么要做数据库选型### 数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软...
字节跳动数据库的过去、现状与未来
数据库技术一直是信息技术中极其重要的一环,在步入云原生时代后,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。从 2018 到 2021 年,伴随业务和数据的迅猛增长,字节跳动的分布式数据库系统取得了令人振奋的发展。如下图所示,在这 4 年间,公司应用侧容器数量从 5 万个增长到了 750 万个,截至目前已经突破 **1000 万** 。这 1000 万个容器筑成了字节...
