主流开源分布式图数据库
社区干货
字节跳动自研万亿级图数据库 & 图计算实践
用万亿级分布式存储、千万高并发、低延迟、稳定可控这三个条件一起去筛选,业界在线上被验证稳定可信赖的开源图存储系统基本没有满足的了;另外,对于一个承载公司核心数据的重要的基础设施,是值得长期投入并且深度掌控的。因此,我们在 18 年 8 月份,开始从第一行代码开始踏上图数据库的漫漫征程,从解决一个最核心的抖音社交关系问题入手,逐渐演变为支持有向属性图数据模型、支持写入原子性、部分 Gremlin 图查询语言的通用图数据...
分布式数据库在抖音春晚活动中的应用
既然开源的 MySQL 和开源的 PG 发展得这么好,它们的生态非常完善,用户也非常多,排名也很靠前,我们为什么还需要去开发分布式数据库?这个问题的答案其实也比较显而易见,就是原有的架构不能很好地满足我们内部应用的需求,所以我们才会去寻找第二条路。上图是现有的或者主流的大型数据库系统的架构,...
分布式数据库在抖音春晚活动中的应用
我们为什么还需要去开发分布式数据库?这个问题的答案其实也比较显而易见,就是原有的架构不能很好地满足我们内部应用的需求,所以我们才会去寻找第二条路。上图是现有的或者主流的大...
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
特惠活动
主流开源分布式图数据库-优选内容
主流开源分布式图数据库-相关内容
火山引擎云搜索服务升级云原生新架构;提供数十亿级分布式向量数据库能力
云搜索服务 ESCloud 是火山引擎提供的 **完全托管在线分布式搜索服务** ,兼容 Elasticsearch、Kibana 等软件及常用开源插件。可以提供结构化、非结构化文本的多条件检索、统计、报表,帮助实现一键部署、弹性扩缩、... 大模型时代下的原生向量搜索和数据库** 随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上 **增加向量搜索...
火山引擎云搜索服务升级云原生新架构,提供数十亿级分布式向量数据库能力
云搜索服务 ESCloud 是火山引擎提供的完全托管在线分布式搜索服务,兼容 Elasticsearch、Kibana 等软件及常用开源插件。可以提供结构化、非结构化文本的多条件检索、统计、报表,帮助实现一键部署、弹性扩缩、简化运... 大模型时代下的原生向量搜索和数据库 随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上增加向量搜索能力来实现...
火山引擎云搜索服务升级云原生新架构;提供数十亿级分布式向量数据库能力
云搜索服务 ESCloud 是火山引擎提供的**完全托管在线分布式搜索服务**,兼容 Elasticsearch、Kibana 等软件及常用开源插件。可以提供结构化、非结构化文本的多条件检索、统计、报表,帮助实现一键部署、弹性扩缩、简... 大模型时代下的原生向量搜索和数据库随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上**增加向量搜索能力来实现对非结构化数...
基于 ES 的分布式向量数据库
k-NN 向量数据库可以提供大规模分布式能力,为用户带来可扩展数量级的向量搜索。本文介绍在大模型时代下的原生向量搜索和数据库的背景和应用场景。 背景信息随着音视频、推荐等新兴领域应用的发展和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索势在必行。ES 在全文检索的基础上增加向量搜索能力来实现对非结构化数据的分析和检索。在向量搜索的场景下,使用机器学习模型生成向量来表示数据对象(文本、图像、音视频等),向...
如何构建企业内的 TiDB 自运维体系
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 因此我们逐步把目光转向了已经趋于成熟的分布式关系型数据库 TiDB。自 2020 年初开始使用 TiDB,随着运维体系的逐步完善,产品自身能力的逐步提升,接入业务已经涉及得物的多个 业务线,其中个别为关键业务场景。业界...
火山引擎ByteHouse基于云原生架构的实时导入探索与实践
目前其开源社区的star活跃度非常高,国内很多公司都有针对ClickHouse开源社区做的产品集成和上云服务。由于ClickHouse是基于OLAP实时分析而生的列存的数据库,其本身是一个分布式数据库,加之其底层设计和实现让它在... ByteHouse进行了业界主流的架构升级和演进——从分布式架构到云原生架构的改造。火山引擎ByteHouse云原生架构分为三层:- 第一层是服务接入层,负责服务接入以及状态管理,包括整体服务入口、所有元数据信息、事务...
基于国产化环境的金融级业务系统性能优化实践|社区征文
底层芯片采用国内主流ARM路线的CPU;- 操作系统采用国产Kylin操作系统;- 数据库采用国产分布式数据库,QianBase;QianBase是基于Trafodion架构。Trafodion是HP公司资助的一个开源项目。它提供了一个成熟的企业级SQL on HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载,或者是传统的OLTP应用。2006年,NonStop SQL的OLAP分支Neoview诞生,而Trafodion直接继承于Neoview和其后续产品SeaQuest。SeaQuest将N...
字节跳动 NoSQL 的探索与实践
1000+ 图数据库集群- 日均运行 1000+ 图计算任务- 服务器规模 1W+ 台字节跳动为什么要自研这样一个庞大的系统?作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也...
字节跳动 NoSQL 的探索与实践
服务器规模 1W+ 台。字节跳动为什么要自研这样一个庞大的系统?作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。 在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也在公司内部广泛落地,集群数量快速扩张,并逐步标...
