本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术团队图状结构数据广泛存在 ... 对于数据内在关系是图模型以及在图上游走类和模式匹配类的查询,比如社交关系查询,图数据库会有更大的性能优势和更加简洁高效的接口。**为什么不选择开源图数据库**图数据库在 90 年代出现,直到最近几年在数...
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 业界关于 TiDB 的功能剖析、场景落地、平台化建设都有很多优秀的文章。本文基于得物内部的实践情况,会从选型策略、运维手段、运营方式、核心场景实践等几个方向讲述TiDB 在得物实践落地过程。# 2 TiDB 架构![p...
> **火山引擎存储&数据库产品解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和企业实现业务成功。## 为什么要做数据库选型### 数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软...
也知道是一款国人研发的数据库,但你知道TiDB到底是如何实现的?它跟其他数据库产品相比,它的核心优势是什么?此次夜校分享,xiaoyu向大家介绍了数据库发展史、TiDB 设计、架构及生态及TiDB在得物的应用。# 数据库... 线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有...
数据库发展与类型简介数据库系统在上世纪70年代初出现,至今已经发展了半个多世纪,其理论、技术与产品已经非常丰富,呈现出百花齐放的景象。根据其特点可以大概分为关系型数据库管理系统(RDBMS),非关系型数据库(NoSQL),NewSQL、云原生数据库、分布式数据库等等。每一类数据库中使用不同的技术实现,又可以分化出不同的产品类型。根据DB-Engines的统计,数据库产品数量已经有将近400种,数据库厂商也有几百家,如下图所示,不同数据库产...
# 前言对于分析型数据库产品,通过增加服务节点实现集群水平扩容,并提升集群性能和容量,是运维的必要手段。但是对于熟悉 ClickHouse 的工程师而言,听到“扩容”二字一定会头疼不已。开源 ClickHouse 的 MPP 架... ByteHouse 企业版基于开源社区 ClickHouse 进行了诸多优化,现已正式公测“水平扩容”功能。如果将“ClickHouse”比作一辆汽车,那么此次ByteHouse升级则实现了扩容“手动挡”变“自动挡”,同时“自动档"过程中还能...
将从ByteHouse数据库架构演进、增强HaKafka引擎实现方案、增强Materialzed MySQL实现方案、案例实践和未来展望四个部分展开分享。 ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-... 火山引擎云原生数据仓库ByteHouse源于开源ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据分析和海量离线数据分析,具备便捷的弹性扩缩容能力,极致的分析性能和...
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式 AI 应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对... 开源基线有了 3 倍以上的改善,且满足大规模线上业务的稳定性要求,因此被抖音集团大量业务采用。但因为每个索引搭建一套集群的成本较高,且存在配置复杂等问题,研发团队又对框架进一步迭代,进行云原生改造,实现组...
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式AI应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对比... 开源基线有了3倍以上的改善,且满足大规模线上业务的稳定性要求,因此被抖音集团大量业务采用。但因为每个索引搭建一套集群的成本较高,且存在配置复杂等问题,研发团队又对框架进一步迭代,进行云原生改造,实现组件多...
灵活性及功能体验等已经在实践中得到认证**。2021 年春晚活动,抖音直播间累计观看人数 12.21 亿,产生了 703 亿次红包互动,最高同时人数 498.46 万。在这些数字背后,正是云基础产品在全力支持,比如有超过 1000 万核的云主机在保障各种计算和存储服务稳定运行,自研的超大规模对象存储服务提供接近 10Tb 读写峰值,负载均衡网络产品支撑近亿级别峰值 QPS 请求,关系型数据库提供 3000 万 QPS 读写能力,自研图数据库提供接近 5000 万并...
并做到100%开源兼容。Doris 作为 OLAP 领域中一款极具代表性的开源组件,也被集成到了火山引擎 EMR 产品生态中。> > > > > 本文来源于山引擎 EMR 团队大数据工程师在 Doris Summit 2022 中的同名主题分享,将为... 实现数据的聚合。* 最后,它也像 Kylin 一样有物化视图的能力,能够实现查询改写,通过预计算来提高查询 QPS 。因此,Doris 是一个非常全面的OLAP服务,所以火山引擎 EMR 很早对其进行了集成,进行了大量功能优化,并...
阅读本次分享材料。**> > > > ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/12081819e8c34b359fe485cf76216799~tplv-tlddhu82om-image.image?=&rk3s=8031c... 这三类场景都可以通过提供基于唯一键的upsert功能来实现,不管是更新还是幂等处理的需求。****从读写要求上看****因为大家用OLAP数据库最核心的诉求是希望查询可以有一个非常低的延迟,所以对读的性能...
> 日前,字节跳动技术社区 ByteTech 举办的第四期字节跳动技术沙龙圆满落幕,本期沙龙以《字节云数据库架构设计与实战》为主题。在沙龙中,字节跳动基础架构数据库资深工程师张雷,跟大家分享了《[字节跳动数据库的过去... **Database 层:** 这一层部署着数据库的一些实例,通过数据库的 Binlog 实现数据的同步、高可用。整体来讲,第一代数据库系统架构以开源 MySQL 为主,通过分库分表中间件为用户提供较好的服务,以人工为主、脚本...