图数据库上的图计算
社区干货
字节跳动自研万亿级图数据库 & 图计算实践
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5357a124a5134af89ad57441c53d42a2~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714494042&x-signature=MTmbvyzZFmwu06boGPrVpiWIatY%3D) 本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术团队...
字节跳动 NoSQL 的探索与实践
业界以前的常用做法是使用 HBase 加上一个计算引擎。实际上图计算对于风控反作弊的异常识别和风险检测更适合。- 推荐模型:图训练系统也支持推荐的核心模型,这也是字节跳动的的一个核心场景。- 目前 ByteGraph 在字节跳动内部的使用量有多大?这里列举一组数据:- 服务 2000+ 内部用户(这里的用户指一个业务线或者一个小的 App)- 1000+ 图数据库集群- 日均运行 1000+ 图计算任务- 服务器规模 1W+ 台字节跳动为什么要自研这...
字节跳动 NoSQL 的探索与实践
字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。 在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也在公司内部广泛落地,集群数量快速扩张,并逐步标准化。目前字节跳动在图数据库方面的多篇论文已被 VLDB 等数据库顶会收录,ByteGraph 预计在今年年底也将通过火山引擎提供给更多用户。### 图计算系统从图数据库又引申出来...
字节跳动 NoSQL 的探索与实践
业界以前的常用做法是使用 HBase 加上一个计算引擎。实际上图计算对于风控反作弊的异常识别和风险检测更适合。* **推荐模型**:图训练系统也支持推荐的核心模型,这也是字节跳动的的一个核心场景。目前 ByteGraph 在字节跳动内部的使用量有多大?这里列举一组数据:* 服务 **2000+** 内部用户(这里的用户指一个业务线或者一个小的 App)* **1000+**图数据库集群* 日均运行 **1000+** 图计算任务* 服务器规模 **1W+**...
特惠活动
图数据库上的图计算-优选内容
图数据库上的图计算-相关内容
火山引擎开发者社区技术年货|2022 年最受欢迎的技术文章合辑
字节跳动的 NoSQL 产品矩阵有图数据库 ByteGraph、图计算系统、KV 存储服务 ABase,点击👉 [**字节跳动 NoSQL 的探索与实践**](http://mp.weixin.qq.com/s?__biz=MzkwNTIwNzc3OQ==&mid=2247487023&idx=1&sn=39c2184548b84600431111f6553e2e56&chksm=c0fa04a3f78d8db51480917b52c5c2c89de1bbfd51a3fc56395ae93c3dbeffa261a99cd4602e&scene=21#wechat_redirect) 查看详情。**RTC 技术的试金石:火山引擎视频会议场景技术实践**...
支持云审计的产品
NAT网关 natgateway 公网IP vpc 私有网络 vpc VPN连接 vpn 专线连接 directconnect 负载均衡 clb 云企业网 cen 应用型负载均衡 alb 云服务器 ecs GPU云服务器 ecs 弹性裸金属 ecs 高性能计算GPU云服务器 ecs 弹性... 数据库传输服务 dts 云数据库 MySQL 版 rds_mysql 云数据库 PostgreSQL 版 rds_postgresql 云数据库 RDS SQL Server 版 rds_mssql 云数据库 veDB MySQL 版 vedbm 缓存数据库 Redis 版 Redis 图数据库 veGraph grap...
我的 2022 云原生修炼之路 | 社区征文
运营这一块需要新上一个台阶。完成的任务就不多说了,关注几个突破点吧:### 开源贡献向四个仓库贡献了代码 向量数据库 milvus https://github.com/milvus-io/milvus-docs系统的实践
计算引擎的技术与业务元数据 - 数据消费者: 各种引擎之间找数难,元数据的业务解释零散造成理解数难,难以信任- 技术痛点: - 扩展性:新接入一类元数据时,整套系统伤筋动骨,开发成本月级别 - 可维护性:经过一段时间的修修补补,整个系统显的很脆弱,研发人员不敢随便改动;存储依赖重,同时使用了MySQL、ElasticSearch、图数据库等系统存储元数据,维护成本很高;接入一种元数据会增加2~3个ETL任务,运维成本直线上...
位图计算(pg_roaringbitmap)
pg_roaringbitmap 插件是一款高效的位图存储和运算的插件。 实现原理RoaringBitmap 算法主要解决传统 Bitmap 的空间占用固化的问题,其在降低 Bitmap 空间的同时,还提供高性能的 bitmap 运算。在最极端的场景下,传统的 bitmap 即使存储两个数字,也有可能占据大量的空间。例如,存储数字 0 和 数字 1000000,传统的 bitmap 需要提前申请 1000001 个 bit 位,大约 125KB 的空间;而 Roaringbitmap 在此种场景下,仅仅只需 8 Byte 即可。 ...
抖音春晚幕后|支撑 12 亿红包雨的云原生基础设施
本次春晚红包的云计算设施保障团队——**火山引擎云原生团队**——还在一遍遍校对着,见证一个个数据被写进抖音《2021 春晚数据报告》。这是这个团队第一次正面应对春晚的“流量大考”。他们见证了春晚互动数据... 自研分布式图数据库系统 ByteGraph而面对抖音在整个春晚红包活动中提供的红包雨、集灯笼、答题分红包等多种互动玩法,抖音技术团队和火山引擎云原生团队将字节跳动 **自研分布式图数据库系统** **ByteGraph...
干货 | 以一次Data Catalog架构升级为例,聊聊业务系统的性能优化
引入了字节内部的图数据库veGraph,写入时,需要业务层处理MySQL、ElasticSearch和veGraph三种存储,模型也需要同时理解关系型和图两种。更多的背景可以参照之前的[文章](https://mp.weixin.qq.com/s?__biz=MzkwMzMw... 减少计算和IO 一个比较典型的应用场景,是对通过关系拉取的其他节点,根据某种属性做Count。在我们的系统中,有一个叫“BusinessDomain”的标签类型,产品上,需要获取与某个此类标签相关联的元数据类...
抖音大规模实践,火山引擎向量数据库是这样炼成的
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式 AI 应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对比的并不是图片和视频片段,而是通过深度学习等算法将其提取出来的“特征”,“特征”提取的过程称为 Embedding,提取出的“特征”用数学中的向量来表示。向量化的目的是为了通过向量相似来进行非结构化数据的检索,向量...
分布式数据库在抖音春晚活动中的应用
下图是一个简要的 Shared-Storage 架构的分布式数据库架构图。可以看到,我们的系统分为三个层次:* 最上面是 **代理层** ;* 中间是 **计算层** ;* 最底层是 **分布式存储层** ...
