数据库工程师必备技能脑图
社区干货
VikingDB:大规模云原生向量数据库的前沿实践与应用
火山引擎向量数据库高级工程师 VikingDB 简介  5 月 15 日,火山引擎开发者社区第二期 Meetup 邀请到了火山引擎系统开发工程师马浩翔为大家分享《分布式数据库在抖音春...
字节跳动数据库的过去、现状与未来
> 日前,字节跳动技术社区 ByteTech 举办的第四期字节跳动技术沙龙圆满落幕,本期沙龙以《字节云数据库架构设计与实战》为主题。在沙龙中,字节跳动基础架构数据库资深工程师张雷,跟大家分享了《[字节跳动数据库的过去、现状与未来](https://mp.weixin.qq.com/s/4Bvo0EBo_xtKdVcqhGynCQ)》,本文根据分享整理而成。数据库技术一直是信息技术中极其重要的一环,在步入云原生时代后,云基础设施和数据库进一步整合,弥补了传统数据库的痛...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火... **《VikingDB:大规模云原生向量数据库的前沿实践与应用》**谢剑桥|火山引擎向量数据库高级工程师向量数据库是解决海量非结构化数据检索与分析问题的行业共识,我们从 19 年解决大规模分布式向量检索问题,到推...
特惠活动
数据库工程师必备技能脑图-优选内容
数据库工程师必备技能脑图-相关内容
克服 ClickHouse 运维难题:ByteHouse 水平扩容功能上线
# 前言对于分析型数据库产品,通过增加服务节点实现集群水平扩容,并提升集群性能和容量,是运维的必要手段。但是对于熟悉 ClickHouse 的工程师而言,听到“扩容”二字一定会头疼不已。开源 ClickHouse 的 MPP 架构导致扩容成本高,已是 ClickHouse 运维的核心痛点。主要体现在:- 流程全手动,无数据可靠性保证。- 扩容期间性能开销大,通常需要暂停服务。基于字节跳动内广泛的使用场景,ByteHouse 企业版基于开源社区 C...
数据库顶会 VLDB 2023 论文解读:字节跳动如何解决超大规模流式任务运维难题
本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management for Streaming Services... 1. 指标采集流式作业管控常用的指标信息除了计算引擎自身的指标外还有 MQ 侧的数据源相关指标和 K8s 侧的资源相关指标,字节跳动内部将三类指标都通过中心时序数据库缓存起来。StreamOps 对接了内部的时序数据库...
抖音大规模实践,火山引擎向量数据库是这样炼成的
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式 AI 应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对... 对于工程师来讲,面对众多技术门槛较高的产品,要进行快速理解和判断,难度较大。解决方案就是,将火山知识库文档和数据通过向量特征提取,然后存储到向量数据库中,应用 **LLM 大语言模型** 与 **向量化的知识库检...
抖音大规模实践,火山引擎向量数据库是这样炼成的
AI时代,如何用好大模型是当前各行各业瞩目的焦点。向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式AI应用开发新范式的重要组成部分。用图片... 对于工程师来讲,面对众多技术门槛较高的产品,要进行快速理解和判断,难度较大。解决方案就是,将火山知识库文档和数据通过向量特征提取,然后存储到向量数据库中,应用LLM大语言模型与向量化的知识库检索和比对知识,...
分布式数据库在抖音春晚活动中的应用
点击上方👆蓝字关注我们! 作者|马浩翔,火山引擎系统开发工程师 分布式数据库架构简介 ' ])执行计划 Explain Plan对于数据工程师而言,通过执行计划诊断问题是很重要的排障手段。例如 Join order 的问题,统计信息是否缺失,估算是否合理,下推是否生效等等。ByteHouse 提供展示物理执行计划能力,用 Exp... 使用示例创建数据库表 SQL CREATE DATABASE sampledb;CREATE TABLE sampledb.t1 ( id Int64, name Int64) ENGINE = CnchMergeTree()ORDER BY id;CREATE TABLE sampledb.t2( uid Int64, name Int64) ENGINE = ...
一位老IT的2023年的技术总结 |社区征文
## 笔者介绍笔者介绍,近几年的工作内容都与数据库和大数据相关,公司的市场定位 为客户提供数据智能一体化的解决方案,笔者的工作主要围绕公司的旗舰产品做一些售前、售中、售后的事情 ,主要是DBA和技术支持。工作... 分布式数据库在细节里也有很多划分,因为网络分离2pl协议,未必TP性能比以前的好,因为网络传输数据,未必须AP能力比以前强。这个就是分布式数据库与集中式数据库之争,关键还是**工程师学习成本、工具服务效用、以及企...
多云安全平台(含数据库审计模块)服务等级协议
因客户的原因导致火山引擎工程师无法在有效时间内联系到客户引起的服务时长超时;9)不可抗力及意外事件引起的;10)请求来源非中国大陆 IP 地址的;11)其他非火山引擎原因所造成的服务不可用。 3. 赔偿方案3.1 赔偿标准赔偿将以代金券的方式发放,该等代金券不能折现、亦不得转让、赠予,仅限您通过火山引擎官网订购【多云安全平台】服务使用,对于发放代金券公司将不开具发票。该赔偿是我们针对服务不满足服务可用性承诺向您提供的全部...
DBT
介绍dbt(Data Building Tool)是一个开源工具,数据分析师和工程师可以通过编写 SELECT 语句来转换其仓库中的数据。ByteHouse dbt 连接器可让用户使用 dbt 和 ByteHouse 构建自己的数据仓库生态系统。 先决条件已安装了dbt和python。如果没有,请按照此指南。 dbt v1.3.0或更高版本 python v3.8或更高版本 创建ByteHouse帐户:您可以通过火山引擎官网创建ByteHouse帐户。 安装创建一个新的存储库,在其中实例化Python虚拟环境。 plai...
