火山等几乎字节跳动全部产品线,遍布全球机房。ByteGraph 主要用于在线 OLTP 场景,而在离线场景下,图数据的分析和计算需求也逐渐显现。在这篇文章中,将从 ByteGraph 的适用场景、内部架构、关键问题分析几个方面作深入介绍,并将介绍图计算相关实践。 自研图数据库(ByteGraph)介绍 从数据模型角度看,图数据库内部数据是有向属性图,其 **基本元素是 Graph 中的点(Vertex)、边(Edge)以及其上附...
技术与产品已经非常丰富,呈现出百花齐放的景象。根据其特点可以大概分为 **关系型数据库管理系统(RDBMS)** , **非关系型数据库(NoSQL)** , **NewSQL** 、 **云原生数据库** 、 **分布式数据库** 等等。每一类数据库中使用不同的技术实现,又可以分化出不同的产品类型。根据 DB-Engines 的统计,数据库产品数量已经有将近 400 种,数据库厂商也有几百家,如下图所示,不同数据库产品的实际应用规模也大有不同,其中关系型数据库管理...
也是内部业务重度依赖的两大产品。 字节跳动 NoSQL 的最新实践 字节跳动的大部分业务数据可归纳为以下几种类型:* 用户之间的关系:比如关注好友等;* 内容:视频、文章、广告等;* 用户和内容的连接:用户发布内容之后的评论、点赞、转发等,自媒体还会关注广告点击及分成收益等数据。这三种数据关联到一起就会形成 **图状结构** 。**自研分布式图数据库**为了满足内部 social gra...
数据库系统在上世纪70年代初出现,至今已经发展了半个多世纪,其理论、技术与产品已经非常丰富,呈现出百花齐放的景象。根据其特点可以大概分为关系型数据库管理系统(RDBMS),非关系型数据库(NoSQL),NewSQL、云原生数据库、分布式数据库等等。每一类数据库中使用不同的技术实现,又可以分化出不同的产品类型。根据DB-Engines的统计,数据库产品数量已经有将近400种,数据库厂商也有几百家,如下图所示,不同数据库产品的实际应用规模也大有...
加密:支持 SSL 传输加密和数据库透明加密。 运维管理 水平扩容(scale-out):支持扩容副本数。 修改配置:支持高并发模式和大查询模式2个配置模板。 资源组管理:支持通过资源组限制用户的 CPU 与内存使用。 引擎 HaUniqueMergeTree 全面兼容 Alter 语法。 2.2~2.7版本号 发布时间 功能描述 2.7.2 2023/9 支持创建时选择3-5副本 2.7.1 2023/8 兼容了 MySQL 的客户端、常见函数 2.7.0 2023/7 正式支持水平扩容功能 支持...
2024 年 5 月产品特性 功能描述 上线范围 相关文档 升级 "证书管理" 支持上传国密证书。 全量发布 上传证书 在配置证书时,您可以选择双证书与指定的加速域名关联。该特性的常见使用场景是将一个加速域名关联两本使... 分析和图表化的数据展示。 内测发布 实时日志概述 2022 年 8 月产品特性 功能描述 上线范围 相关文档 批量更改配置 支持同时对多个域名配置进行修改。 全量发布 批量操作加速域名 新增"远程鉴权" 将 CDN 收到的请求...
因此各类专门构建的数据库应运而生,包括关系数据库、键值数据库、文档数据库、内存中数据库、图形数据库、时间序列数据库、宽列数据库和分类账数据库等等。 随着数据网格概念的提出,数据管理平台也正由中心化转向业务(LOBs)定制化。各业务根据需求进行定制,构建高可用,高性能,特性丰富的数据管理平台对基础设施的要求较高。 二、数据库选型下表展示了各类数据库的功能特性及相关产品,需要根据实际业务选择合适的数据库产品。 数据...
数据库系统在上世纪70年代初出现,至今已经发展了半个多世纪,其理论、技术与产品已经非常丰富,呈现出百花齐放的景象。根据其特点可以大概分为关系型数据库管理系统(RDBMS),非关系型数据库(NoSQL),NewSQL、云原生数据库、分布式数据库等等。每一类数据库中使用不同的技术实现,又可以分化出不同的产品类型。根据DB-Engines的统计,数据库产品数量已经有将近400种,数据库厂商也有几百家,如下图所示,不同数据库产品的实际应用规模也大有...
#### 相关产品-火山引擎云搜索服务:https://www.volcengine.com/product/es图文检索在生活中具有广泛的应用,常见的图片检索包括基于文本内容搜索和基于图片内容搜索。用户通过输入文字描述或上传图片就可以在海... 快速搭建一套以图搜图,以文搜图的端到端解决方案。# 原理介绍图片搜索技术,以文本描述和图片作为检索对象,分别对 image 和 text 进行特征提取,并在模型中对文本和图片建立相关联系,然后在海量图片数据库进行特...
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式AI应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对比... 即可用原始数据直接写入向量数据库,并用相同的模型将请求数据转换为请求向量进行查询。- **向量数据库技术全景**经过长期的内部探索和优化,抖音采用的向量数据库产品结构如下图所示:基于云基础设施,提供经过...
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火... 向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与 AI 技术的广泛使用,用户期望处理的向量数据规模越来越大,对向量数据库产品的稳定性、易用性与性能需求也越来越高。为此火山引擎Byte...
相信对数据库感兴趣的同学对上面这张图不会陌生。这张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月份的榜单上,MySQL 和 PG 都是关系型数据库的 Top5。这就意味着,如果想做一款数据库产品,大概率永远都绕不过 MySQL 和 PG 的生态。所以我们如果要做个数据库产品,不要想着完全自成一套,还是要把兼容 MySQL 和 PG 生态放在高优先级上。 这时候可能有同学会问,既然开源的 MySQL 和开...
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式 AI 应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对... 即可用原始数据直接写入向量数据库,并用相同的模型将请求数据转换为请求向量进行查询。**向量数据库技术全景**经过长期的内部探索和优化,抖音采用的向量数据库产品结构如下图所示: **基于云基础设施,提供经...