图数据库及应用场景
社区干货
字节跳动自研万亿级图数据库 & 图计算实践
而在离线场景下,图数据的分析和计算需求也逐渐显现。在这篇文章中,将从 ByteGraph 的适用场景、内部架构、关键问题分析几个方面作深入介绍,并将介绍图计算相关实践。 自研图数据库(ByteGraph)介绍... 图数据模型、支持写入原子性、部分 Gremlin 图查询语言的通用图数据库系统,在公司所有产品体系落地,我们称之为 ByteGraph。**ByteGraph 的数据模型和 API****数据模型**就像我们在使用 SQL 数据库时,先...
加速大模型落地:火山引擎向量数据库的实践应用
向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎的三位技术专家,将从火山引擎的实践应用出发... 数据库+ 从应用场景进行技术选择+ 真实业务场景的避坑指南**《解析云原生数仓 ByteHouse 如何构建高性能向量检索技术》**田昕晖|火山引擎 ByteHouse 技术专家向量检索被广泛使用于以图搜图、内容推荐以...
VikingDB:大规模云原生向量数据库的前沿实践与应用
VikingDB 在字节内部的应用向量数据库近来的火热来源于大语言模型的兴起,但在大模型兴起之前,VikingDB 已经在字节内部广泛应用,最初应用在推荐、广告、搜索的召回环节,后来逐步扩展到了消重、风控、对话、文档搜索等需要向量检索的其他场景。在内部推广应用的过程中,VikingDB 经历了非常多样的挑战:超大规模的数据、极致的延迟/性能要求、海量业务场景的接入支持等。为了克服这些困难,我们做了很多架构和性能的优化,以及产...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎云搜索服务的技术专家,将从火山引擎的实践应用出发,**为大家详解「在火山引擎云搜索服务上构建混合搜索的设计与实现」** ,和大家共同探讨如何在多模态数据场景下进行海量数据搜索。⏰**时间**:**2024/03/...
特惠活动
图数据库及应用场景-优选内容
图数据库及应用场景-相关内容
抖音大规模实践,火山引擎向量数据库是这样炼成的
在数据库中存储和对比的并不是图片和视频片段,而是通过深度学习等算法将其提取出来的“特征”,“特征”提取的过程称为 Embedding,提取出的“特征”用数学中的向量来表示。向量化的目的是为了通过向量相似来进行非结构化数据的检索,向量化后的数据才能够被 AI 模型更好的理解使用。 **向量数据库就是用于生产、存储、索引和分析来自机器学习模型产生的海量向量数据的数据库系统** 。其典型应用场景比如:基于大语言模型的智能客服...
抖音大规模实践,火山引擎向量数据库是这样炼成的
用图片搜索图片或者文本搜索文本时,在数据库中存储和对比的并不是图片和视频片段,而是通过深度学习等算法将其提取出来的“特征”,“特征”提取的过程称为 Embedding,提取出的“特征”用数学中的向量来表示。向量化的目的是为了通过向量相似来进行非结构化数据的检索,向量化后的数据才能够被AI模型更好的理解使用。向量数据库就是用于生产、存储、索引和分析来自机器学习模型产生的海量向量数据的数据库系统。其典型应用场景比如:...
自建高性能数据库-选型与性能测试
本文介绍如何选择火山引擎云服务器自建各类高性能数据库。 一、场景描述数据库一直是构建现代应用的重要组件,几乎所有应用都始于数据并终于数据。随着数据驱动时代的到来,数据更是无处不在,进一步成为未来创新的基石。 在应用的微服务化、数据类型多样化的大趋势下,单一种类的数据库已经无法满足现代应用的需求,因此各类专门构建的数据库应运而生,包括关系数据库、键值数据库、文档数据库、内存中数据库、图形数据库、时间序列数...
应用场景
场景地图定位业务中需要实时了解当前定位坐标信息,提供 PostGIS 地理库等插件,提供最佳路径计算、路径规划、地理位置信息存储和处理等基础服务。 传统企业转型场景传统企业向互联网、物联网、移动端转型中遇到 JS、JSON 等数据类型,在现有基础上以最少量改动实现代码快速迭代、完成新功能很重要。通过外部数据包装器(Foreign Data Wrappers,简称 FDW)打破 NoSQL 和 BigData 障碍, 使用 SQL 开发方式快速进入新领域,实现数据库架构...
分布式数据库在抖音春晚活动中的应用
使用这种架构的数据库产品,用户可能会更关心在线事务的处理时延,可能是毫秒级甚至是微秒级别的需求。这种产品主要对接在线的事务应用。在这种场景下,可能常常会使用行式存储而非列式存储,因为它没有分析和报表类的需求。这里要再重申一下,这两种架构本身很难比较优劣,用户需要根据业务架构去选择数据库的架构。我们顺着 Shared-Storage 这个方向继续往下深入看,下图是一个简要的 Shared-Storage 架构的分布式数据库架构图...
应用场景
向量化后存储到向量数据库 VikingDB,利用向量相似度检索技术,实现高效的知识库检索,从而提升知识库的利用和管理效果。 智能搜索 文本检索、图片搜索、音视频相似性检索。文本检索、语义检索:NLP(Natural Language Processing,自然语言处理)模型将文本转换为向量,这些模型试图表示单词的场景及其所传达的含义。然后,用户可以使用自然语言和相同的模型进行查询,以查找相关结果,而无需知道特定的关键字。 图片搜索:以图搜图,从海量图...
应用场景
文本向量化后存储到向量数据库 VikingDB,利用向量相似度检索技术,实现高效的知识库检索,从而提升知识库的利用和管理效果。 智能搜索 文本检索、图片搜索、音视频相似性检索。文本检索、语义检索:NLP(Natural Language Processing,自然语言处理)模型将文本转换为向量,这些模型试图表示单词的场景及其所传达的含义。然后,用户可以使用自然语言和相同的模型进行查询,以查找相关结果,而无需知道特定的关键字。 图片搜索:以图搜图,从海...
分布式数据库在抖音春晚活动中的应用
使用这种架构的数据库产品,用户可能会更关心在线事务的处理时延,可能是毫秒级甚至是微秒级别的需求。这种产品主要对接在线的事务应用。在这种场景下,可能常常会使用行式存储而非列式存储,因为它没有分析和报表类的需求。这里要再重申一下,这两种架构本身很难比较优劣,用户需要根据业务架构去选择数据库的架构。我们顺着 Shared-Storage 这个方向继续往下深入看,下图是一个简要的 Shared-Storage 架构的分布式数据库架构图。...
基于 ES 的分布式向量数据库
k-NN 向量数据库可以提供大规模分布式能力,为用户带来可扩展数量级的向量搜索。本文介绍在大模型时代下的原生向量搜索和数据库的背景和应用场景。 背景信息随着音视频、推荐等新兴领域应用的发展和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索势在必行。ES 在全文检索的基础上增加向量搜索能力来实现对非结构化数据的分析和检索。在向量搜索的场景下,使用机器学习模型生成向量来表示数据对象(文本、图像、音视频等),向...
