图数据库算法基础
社区干货
字节跳动自研万亿级图数据库 & 图计算实践
本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术团队图状结构数据广泛存在 ... 业界在线上被验证稳定可信赖的开源图存储系统基本没有满足的了;另外,对于一个承载公司核心数据的重要的基础设施,是值得长期投入并且深度掌控的。因此,我们在 18 年 8 月份,开始从第一行代码开始踏上图数据库的漫...
一文理解 HyperLogLog(HLL) 算法 | 社区征文
HyperLogLog(HLL) 算法是一种估算海量数据基数的方法,被广泛用于各个数据库产品中。与精确的基数统计算法相比,HLL 具备**可合并性 (mergeability)** ,因而可以方便地对海量数据进行并行计算,被广泛地用于大数据多... 为什么我们不使用 HashSet 来计算基数呢?原因在于计算成本。当要统计的数据非常多时,HashSet 将会占用很大的内存,以至于资源耗尽也无法完成计算,这种情况在大数据场景下非常常见。在 HashSet 的基础上,有一个可以...
stateless emr 支持计算存储分离;但 clickhouse、doris 都是存储计算一体的olap数据库;所以存储计算分离和不分离的利弊有哪些,选型时有什么关键的考量吗
stateless emr 支持计算存储分离;但 clickhouse、doris 都是存储计算一体的olap数据库;所以存储计算分离和不分离的利弊有哪些,选型时有什么关键的考量吗
高性能、快响应!火山引擎 ByteHouse 物化视图功能及入门介绍
通过使用物化视图,将计算结果存储在表格中,减少计算复杂度,提高推荐系统的响应速度。比如,我们可以通过物化视图存储用户的兴趣标签,加速对用户的个性化推荐。# ByteHouse 物化视图快速入门在 ByteHouse 客户的实际应用中,物化视图功能可以应用于许多场景。比如,在电子商务网站中,我们可以创建一个物化视图,用于计算每个用户的订单总额。当需要查询某个用户的订单总额时,数据库只需要从物化视图中获取结果,而不需要重新计算...
特惠活动
图数据库算法基础-优选内容
图数据库算法基础-相关内容
ByteHouse CDW
创建数据库,创建表,导入数据 以 Cell tower 公开数据表为例,按照下图所示完成创建数据表的操作。 备注:Cell tower 数据表统计世界各地的基站信息(GSM、LTE、UMTS 等)以及地理坐标,国家代码等信息。 可使用如下 SQ... 计算组、角色(在快速入门中详述) 2. 快速入门 下面介绍两种方式创建数据连接。 按照如下信息项填入如下参数 数据连接名称:使用默认值 区域:使用默认值 访问秘钥:在 ByteHouse 账户详情中创建 Access Token 并获取...
高性能、快响应!火山引擎 ByteHouse 物化视图功能及入门介绍
通过使用物化视图,将计算结果存储在表格中,减少计算复杂度,提高推荐系统的响应速度。比如,我们可以通过物化视图存储用户的兴趣标签,加速对用户的个性化推荐。# ByteHouse 物化视图快速入门在 ByteHouse 客户的实际应用中,物化视图功能可以应用于许多场景。比如,在电子商务网站中,我们可以创建一个物化视图,用于计算每个用户的订单总额。当需要查询某个用户的订单总额时,数据库只需要从物化视图中获取结果,而不需要重新计算...
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 在计算时,由于行数据在内存中是顺序存储在一起的,所以对 cpu cache 也很不友好。 列存就是解决上述问题的灵丹妙药,首先读取时只需要读取关心的列数据,在计算时也对cpu cache非常友好,所以存在大量复杂查询的数据分...
基于 ES 的分布式向量数据库
本文介绍在大模型时代下的原生向量搜索和数据库的背景和应用场景。 背景信息随着音视频、推荐等新兴领域应用的发展和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索势在必行。ES 在全文检索的基础上增加向量搜索能力来实现对非结构化数据的分析和检索。在向量搜索的场景下,使用机器学习模型生成向量来表示数据对象(文本、图像、音视频等),向量距离代表对象间的相似性。常用的向量库使用 ANN 算法,在极短时间内完成海量向...
火山引擎上云迁移指南(一):上云迁移背景与流程
> **王志雷**,火山引擎存储&数据库解决方案架构师,专注于存储&数据库产品的解决方案规划、设计和拓展工作。 > **贾伟力**,火山引擎存储&数据库解决方案架构师,专注于存储&数据库产品的解决方案规划、设计和拓展... 开发新的云原生应用程序以及转变架构和基础设施,是一个系统工程,需要有成熟的迁移方法论、配套的迁移工具和专业的迁移团队保驾护航。- 成熟的迁移方法论:将帮助用户更好控制迁移风险,助保障客户业务系统、平稳地迁...
基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录近期,第29届国际知识发现与数据挖掘大会(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,以下简称KDD)在美国加州长滩举办。由火山引擎数智平台,北京大学计算机学院和蒙特利尔学习算法研究所等单位合作的论文 *Rover: An online* *Spar...
基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录
北京大学计算机学院和蒙特利尔学习算法研究所等单位合作的论文 《Rover: An online Spark SQL tuning service via generalized transfer learning 》(以下简称Rover)成功被大会收录。Rover由北京大学的沈彧和火山引... 数据库、万维网、生物信息学、多媒体、自然语言处理、人机交互、社会网络计算、高性能计算及大数据挖掘等众多领域的研究者,为来自学术界、企业界和政府部门的相关人员提供了一个学术交流和成果展示的理想场所。...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎的三位技术专家,将从火山引擎的实践应用出发, **为大家详解向量检索功能的设计实现以及大规模云原生向量数据库的核心技术和优化** ,和大家共同探讨大模型时代向量数据库的落地实践。⏰ **时间**: **2...
VikingDB:大规模云原生向量数据库的前沿实践与应用
基于指令集的计算优化、GPU 加速等;* 产品特性层面:除了基础的 ANN 检索功能外,支持了Hybrid (Dense&Sparse) 检索、磁盘索引(DiskANN)、基于向量的粗排打散等。在内部产品的不断迭代过程中,VikingDB 也逐渐契合云原生的理念,为孵化商业化向量数据库产品打下了坚实的基础。依托于 VikingDB 在字节内部积累的丰富经验,我们在火山引擎推出了 VikingDB 的商业化版本,以更好地对外部客户进行赋能。**应用:Retrieval-Augmented...
