数据库原理及应用教程思维图
社区干货
火山引擎新一代数据库的探索与实践
数据库的形态也随之发生了很大变化,各类数据库不断涌现。在基础设施全面云原生化的今天,火山引擎的云原生数据库如何面对数亿日活应用访问下超过 EB 级别的海量存储规模?对于更复杂的非结构化数据类型,火山引擎的... **《云原生数据库 veDB 核心技术剖析与展望》**张雷|火山引擎数据库技术负责人veDB 是一款分布式数据库,采用了云原生计算存储分离架构。本次演讲将为大家介绍火山引擎这款云原生数据库的核心技术原理,并对未...
分布式数据库在抖音春晚活动中的应用
上图是现有的或者主流的大型数据库系统的架构,它分为三层:- 最上一层是应用,今日头条,抖音,西瓜视频等都是应用。- 中间层是数据库中间件层。- 底层是数据库层以及数据库下面的单机存储。这个架构应该是... 但只要是基于 log 和 Page 这种机制的数据库,我们理论上都是可以支持的。背后的原理其实是我们在存储层做了一层统一泛化的抽象,基于 log is the database 的思想,做了很多从 log 到 Page 转化的通用接口。基于这些...
分布式数据库TiDB的设计和架构
市场上有很多数据库产品,如Oracle、MySQL、SQLServer、NoSQL、NewSQL等,那么目前数据库圈最火的分布式关系型数据库之一TiDB你了解吗?相信很多同学以前听说过TiDB,也知道是一款国人研发的数据库,但你知道TiDB到底是如何实现的?它跟其他数据库产品相比,它的核心优势是什么?此次夜校分享,xiaoyu向大家介绍了数据库发展史、TiDB 设计、架构及生态及TiDB在得物的应用。# 数据库技术发展演进**2008年以前**2008 年以前应用最为...
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... 我们可以把数据库的数据看做银行账户里的余额,而 binlog 就相当于我们银行卡的流水记录。账户余额只是一个结果,至于这个结果怎么来的,那就必须得看流水了。在实际应用中, binlog 的主要应用场景分别是 **主从复制...
特惠活动
数据库原理及应用教程思维图-优选内容
数据库原理及应用教程思维图-相关内容
基于云数据库 PostgreSQL 版构建智能交互式问答系统
本文就如何利用云数据库 PostgreSQL 版和大语言模型技术(Large Language Model,简称 LLM),实现企业级智能交互式问答系统进行介绍。通过本文,您将学习了解到:交互式问答系统原理、PostgreSQL 向量化存储和检索技术,... 作为访问数据库的客户端机器。 请确保您具备 OpenAI Secret API Key,并且您的网络环境可以使用 OpenAI。 训练步骤本文将以构建企业专属“数据库顾问”问答系统为例,演示整个构建过程。使用的知识库样例为 Postgr...
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... 我们可以把数据库的数据看做银行账户里的余额,而 binlog 就相当于我们银行卡的流水记录。账户余额只是一个结果,至于这个结果怎么来的,那就必须得看流水了。在实际应用中, binlog 的主要应用场景分别是 **主从复制...
什么是数据库传输服务
数据库传输服务 DTS(Database Transmission Service)是一款集数据迁移、同步和订阅于一体的数据流服务,支持关系型数据库、非关系型数据库等数据源间的数据交互,降低数据库之间数据流通的复杂性。帮助您在业务不停服... 非关系型数据库的数据传输。相较于第三方迁移工具,数据库传输服务 DTS 可以更方便地创建和管理丰富多样、高性能、高安全可靠的传输链路。更多详情,请参见产品优势。 架构原理数据库传输服务 DTS 提供不停机迁移解决...
分布式数据库在抖音春晚活动中的应用
上图是现有的或者主流的大型数据库系统的架构,它分为三层:* 最上一层是应用,今日头条,抖音,西瓜视频等都是应用。* 中间层是数据库中间件层。* 底层是数据库层以及数据库下面的单机存储。这个架构应该是比较... 但只要是基于 log 和 Page 这种机制的数据库,我们理论上都是可以支持的。背后的原理其实是我们在存储层做了一层统一泛化的抽象,基于 log is the database 的思想,做了很多从 log 到 Page 转化的通用接口。基于这些...
达梦@记一次国产数据库适配思考过程|社区征文
图或表不存在,字段列名不存在的异常。若是通过**Mysql或Oracle或其他数据库,文件... 则会执行图三批量插入insertBatch方法。上例,这样我们就能极其简易的指定 databaseId,很多小伙伴肯定会说为什么需要这样去指定?其背后的原理又是怎样的,我们是否能够扩展并自定义 databaseId?框架这层的应用真能...
Hive SQL 底层执行过程 | 社区征文
> 本文结构采用宏观着眼,微观入手,从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce ... METASTORE:元数据库。存储 Hive 中各种表和分区的所有结构信息。5. EXECUTION ENGINE:执行引擎。负责提交 COMPILER 阶段编译好的执行计划到不同的平台上。上图的基本流程是:**步骤1**:UI 调用 DRIVER 的接口...
数据库顶会 VLDB 2023 论文解读 - Krypton: 字节跳动实时服务分析 SQL 引擎设
创新应用中心, 存储-HDFS & NoSQL 团队共同合作研发的新一代面向复杂业务的实时服务分析系统(HSAP: Hybrid Serving and Analytical Processing),希望能在应对大数据复杂分析场景的同时,也能满足业务对于实时数据在... 如上图所示,Krypton 的架构有如下几个特点:1. **存算分离** - Krypton 的数据存放在了 Cloud Store 上,例如:HDFS、标准对象存储接口 S3 等;元数据也放在了外部的存储系统中,例如:ZK 及分布式 KV 等系统。...
Elasticsearch 原理与在直播运营平台的实践
在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大,本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。Elasticsearch 是一种分布式的... **在直播运营平台中的应用**特性会影响组件的应用场景,直播运营平台在文档检索与分析部分通过使用 ES 聚合数亿主播的各类信息,并用于对应平台进行各类列表的展示;日志检索部分则是用于对 Argos 错误日志...
【通俗讲解】向量数据库的崛起|社区征文
# 前言在过去一年多的时间中GPT火爆全网,被大家熟知,GPT概念更是收割市场,被预测为下一个风口,资本纷纷入场, AI 应用的发展如火如荼,带动了 AI 应用产业链上下游的火爆,而向量数据库就是其中最热门的应用之一。... 向量数据库的应用不仅限于文字语义搜索,还包括传统AI应用和机器学习场景中的人脸识别、图像搜索、语音识别等功能。这个方案为AI获得理解和维护长期的记忆以及执行复杂任务提供了有力支持。# Vector EmbeddingsV...
