数据库基础课程
社区干货
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 我们可以将stream 划分为四种基本type,每种type 制定特定的 encoding 算法。四种type如下:3. byte stream;存储基础的字节,不能encoding;3. Run Length Byte Stream;存储字节流,只存储重复的字节和出现次数;3...
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
分布式数据库TiDB的设计和架构
有个新的概念为分布式关系型数据库(NewSQL),它是兼具NoSQL扩展性又不丧失传统关系型数据库ACID特性的分布式数据库。随着互联网向银行、电信、电力等方向的渗透,传统行业数据量迅速提升,需要同时满足低成本、线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有Spanner...
一文读懂火山引擎云数据库产品及选型
# 1、为什么要做数据库选型## 1.1、数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软件领域,有三... 包含关系型数据库与NoSQL数据库。OLAP与大数据相关不在本文讨论范围。# 2、选型基本方法论在开始介绍数据库选型方法论之前,首先需要介绍一个理念:“数据库选型没有银弹”。就是说没有任何一款数据库可以满足所...
特惠活动
数据库基础课程-优选内容
数据库基础课程-相关内容
一文读懂火山引擎云数据库产品及选型
# 1、为什么要做数据库选型## 1.1、数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软件领域,有三... 包含关系型数据库与NoSQL数据库。OLAP与大数据相关不在本文讨论范围。# 2、选型基本方法论在开始介绍数据库选型方法论之前,首先需要介绍一个理念:“数据库选型没有银弹”。就是说没有任何一款数据库可以满足所...
Mysql 数据库数据迁移至 EMR-Doris
操作详见:Doris 基础使用。 申请数据库传输服务产-数据订阅公测,申请地址:公测申请。 已创建 RDS MySQL 实例和数据库,详见 创建源RDS MySQL 实例 和 创建数据库。 2 申请数据订阅数据库传输服务-数据订阅服务,可解析 MySQL 数据库的增量日志,并将增量数据封装同步到数据中间件,实现增量数据的订阅和消费。 完成数据库传输服务公测申请后,进入数据库传输服务产品控制台。 2.1 创建并启动订阅任务进入 数据库传输服务DTS控制台。...
火山引擎新一代数据库的探索与实践
点击上方👆蓝字关注我们! 伴随着云计算、分布式技术的逐步落地,急剧膨胀的数据规模、多样化的数据类型、更复杂的业务特征给数据存储、计算等带来了更严峻的挑战;数据库的形态也随之发生了很大变化,各类数据库不断涌现。在基础设施全面云原生化的今天,火山引擎的云原生数据库如何面对数亿日活应用访问下超过 EB 级别的海量存储规模?对于更复杂的非结构化数据类型,火山引擎的 NoSQL 能力又如何助力业务...
数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计
这是字节跳动基础架构 计算-实时引擎, 创新应用中心, 存储-HDFS & NoSQL 团队共同合作研发的新一代面向复杂业务的实时服务分析系统(HSAP: Hybrid Serving and Analytical Processing),希望能在应对大数据复杂分析场... 这便是公平调度算法的基本原理。 **Serving 场景下特有的优化**1. **Lightweight API**在 Serving 场景下,通常每个 Query 都不是很复杂,返回的结果数量也不多。因此 Coordinator 当发现生成的...
一文读懂火山引擎云数据库产品及选型
背后都离不开这些基础软件的支撑,其中数据库系统是业务数据的载体,比如银行卡上的余额,是非常重要的数据,不能有任何差错,数据库在所有IT系统中的地位都是重中之重。数据库作为基础软件的重要性不言而喻,各行各业... 包含关系型数据库与 NoSQL 数据库**。OLAP 与大数据相关不在本文讨论范围。 选型基本方法论 在开始介绍数据库选型方法论之前,首先需要介绍一个理念: **“数据库选型没有银弹”...
一文读懂火山引擎云数据库产品及选型
> **火山引擎存储&数据库产品解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和企业实现业务成功。## 为什么要做数据库选型### 数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软...
加速大模型落地:火山引擎向量数据库的实践应用
传统数据库已经无法满足如此多样化数据的处理需求。向量数据库以其海量的数据存储规模、高效的计算查询能力,正在成为大模型时代重要的基础设施。**3 月23 日**,火山引擎开发者社区 Meetup 第十三期邀请到了火山引擎云搜索服务的技术专家,将从火山引擎的实践应用出发,**为大家详解「在火山引擎云搜索服务上构建混合搜索的设计与实现」** ,和大家共同探讨如何在多模态数据场景下进行海量数据搜索。⏰**时间**:**2024/03/...
VikingDB:大规模云原生向量数据库的前沿实践与应用
为孵化商业化向量数据库产品打下了坚实的基础。依托于 VikingDB 在字节内部积累的丰富经验,我们在火山引擎推出了 VikingDB 的商业化版本,以更好地对外部客户进行赋能。**应用:Retrieval-Augmented Generation**大语言模型在生成文本方面表现出色,但也存在一些限制,如知识局限性和幻觉问题。为了克服这些挑战,RAG(Retrival-Augmented Generation) 成为了当前业界最流行的解决方案。RAG 结合检索和生成两个关键组件,通过检索...
火山引擎ByteHouse:云原生数据库如何提升MySQL兼容性?
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群当前各类软件层出不穷,单独某一款软件往往难以满足企业应用需求,一般都需要与各类软件组合使用,这时软件生态兼容性就显得格外重要。作为关系数据库管理系统的代表之一,MySQL支持大多数操作系统、编程语言、程序语言,具备广泛的使用基础,其他数据类产品和工具对MySQL的兼容愈显重要。 作为源于字节跳动多年积累的云原生数据仓库,火山...
