数据库案例分析思维导图
社区干货
VikingDB:大规模云原生向量数据库的前沿实践与应用
火山引擎向量数据库高级工程师 VikingDB 简介 的 HNSW 索引,单次检索一般需要访问 1.6W 条数据,那么一次检索的访存量即为 1.6W 条向量数据 * 向量维度 * 4(Float长度)= 8MB,再加上 1MB 的索引结构(HNSW 的每一个向量会和部分...
达梦@记一次国产数据库适配思考过程|社区征文
写在前面的话,每一篇摘文都以实际案例场景出发,空余时间记录每一次mark历程,在不一样的业务实际场景下,针对项目阶段所产生的变化,制定不一样的技术方案,不论多么渺小的技术方案,放在其对应的场景下都有着不一样的意... 若是通过**Mysql或Oracle或其他数据库,文件等方式迁移导入**。这里记录一下迁移过程中遇到的问题,**在迁移的时候,报某些字段超长**。于是,查看了MySql中那些字段的类型及长度,都是varchar(50) 。这里应该是迁移有些...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火... **《VikingDB:大规模云原生向量数据库的前沿实践与应用》**谢剑桥|火山引擎向量数据库高级工程师向量数据库是解决海量非结构化数据检索与分析问题的行业共识,我们从 19 年解决大规模分布式向量检索问题,到推...
无恒实验室联合GORM推出安全好用的ORM框架-GEN
# 背景数据库操作是大多数程序员必不可少的工作, GORM 作为一个拥有 25k star 的项目已经是 Go 语言操作关系型数据库的首选。- 由于 GORM 中提供了很多 interface{} 形式的参数,这让程序员很容易误用,导致线... GORM和GEN查询对比案例```//GORM 需要先定义类型var user model.Usererr:=db.Where("id=?",5).Take(&user).Error//GEN 可以直接查询,返回对应类型user,err:= u.Where(u.ID.Eq(5)).Take()```# 如何...
特惠活动
数据库案例分析思维导图-优选内容
数据库案例分析思维导图-相关内容
数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题
字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management for Streaming Services in ByteDance”,介绍字节跳动内部基于数万... 此外我们分析发现这类操作中有不少优化空间,首先是涉及资源变更的操作很大一部分时间花费在资源申请上,对于小状态作业最高可达 70%,实现了一套资源预申请机制并接入 StreamOps。对于大状态任务,绝大部份时间花费在...
火山引擎云搜索服务升级云原生新架构;提供数十亿级分布式向量数据库能力
数据库随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上**增加向量搜索能力来实现对非结构化数据的** **分析和** **检索**。... ### 场景案例基于 k-NN 的业务场景主要有以下六大类,目前在字节跳动内部复杂的业务场景中均有所运用:- 多模态搜索:包括图片搜索,语义搜索,音视频相似性检索等;- 智能推荐: 视频推荐,广告投放推荐,关系推荐...
数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题
本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management for Streaming Services... 此外我们分析发现这类操作中有不少优化空间,首先是涉及资源变更的操作很大一部分时间花费在资源申请上,对于小状态作业最高可达 70%,实现了一套资源预申请机制并接入 StreamOps。对于大状态任务,绝大部份时间花费在...
火山引擎云搜索服务升级云原生新架构;提供数十亿级分布式向量数据库能力
大模型时代下的原生向量搜索和数据库** 随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上 **增加向量搜索能力来实现对非结构化数据的分析和检索** 。在向量搜索的场景下,使用机器学习模型生成向量来表示数据对象(文本、图像、音视频等);向量距离来代表对象间的相似性。常用的向量库使用 ANN 算法在极短时间内完成海量...
火山引擎云搜索服务升级云原生新架构,提供数十亿级分布式向量数据库能力
数据库 随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上增加向量搜索能力来实现对非结构化数据的分析和检索。... **场景案例**基于 k-NN 的业务场景主要有以下六大类,目前在字节跳动内部复杂的业务场景中均有所运用:* 多模态搜索:包括图片搜索,语义搜索,音视频相似性检索等;* 智能推荐:视频推荐,广告投放推荐,关系推荐,商...
如何构建企业内的 TiDB 自运维体系
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 业界关于 TiDB 的功能剖析、场景落地、平台化建设都有很多优秀的文章。本文基于得物内部的实践情况,会从选型策略、运维手段、运营方式、核心场景实践等几个方向讲述TiDB 在得物实践落地过程。# 2 TiDB 架构