You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

一张图看懂数据库原理的软件

社区干货

硬核干货!一文掌握 binlog 、redo log、undo log|社区征文

今天就跟大家一起,来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等... Slave 端重放 binlog 来达到主从数据一致。1. **数据恢复** :通过使用 mysqlbinlog 工具来恢复数据。### 1.2 binlog 数据格式binlog 日志有三种格式,分别为 STATMENT 、 ROW 和 MIXED。> 在 MySQL 5.7.7 ...

Hive SQL 底层执行过程 | 社区征文

第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce 的具体实现原理。### 一、HiveHive是什么?Hive 是数据仓库工具,再具体点就... METASTORE:元数据库。存储 Hive 中各种表和分区的所有结构信息。5. EXECUTION ENGINE:执行引擎。负责提交 COMPILER 阶段编译好的执行计划到不同的平台上。上图的基本流程是:**步骤1**:UI 调用 DRIVER 的接口...

分布式数据库TiDB的设计和架构

线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有... 数据库本身能够自动进行数据修复和故障转移,对业务透明- 支持 ACID 事务,对于一些有强一致需求的场景友好,例如:银行转账- 具有丰富的工具链生态,覆盖数据迁移、同步、备份等多种场景![picture.image](https:...

火山引擎新一代数据库的探索与实践

点击上方👆蓝字关注我们! 伴随着云计算、分布式技术的逐步落地,急剧膨胀的数据规模、多样化的数据类型、更复杂的业务特征给数据存储、计算等带来了更严峻的挑战;数据库的形态也随之发生了... **《云原生数据库 veDB 核心技术剖析与展望》**张雷|火山引擎数据库技术负责人veDB 是一款分布式数据库,采用了云原生计算存储分离架构。本次演讲将为大家介绍火山引擎这款云原生数据库的核心技术原理,并对未...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

幻兽帕鲁游戏服务器4C16G3M

10人畅玩不卡顿,100%性能独享,每天只需0.7元
22.00/558.86/月
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

一张图看懂数据库原理的软件-优选内容

硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
今天就跟大家一起,来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等... Slave 端重放 binlog 来达到主从数据一致。1. **数据恢复** :通过使用 mysqlbinlog 工具来恢复数据。### 1.2 binlog 数据格式binlog 日志有三种格式,分别为 STATMENT 、 ROW 和 MIXED。> 在 MySQL 5.7.7 ...
Hive SQL 底层执行过程 | 社区征文
第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce 的具体实现原理。### 一、HiveHive是什么?Hive 是数据仓库工具,再具体点就... METASTORE:元数据库。存储 Hive 中各种表和分区的所有结构信息。5. EXECUTION ENGINE:执行引擎。负责提交 COMPILER 阶段编译好的执行计划到不同的平台上。上图的基本流程是:**步骤1**:UI 调用 DRIVER 的接口...
数据迁移方案概览
数据库 MySQL 版可通过数据库传输服务 DTS 进行结构迁移、全量数据迁移和增量数据迁移,实现不停机迁移上云。 原理图下图展示了MySQL如何使用DTS进行数据迁移的原理图: 使用优势使用范围广 适用多种实例类型:本地... 您需要对源或目标数据库做一些准备工作,以满足 DTS 对环境的要求,详情请参见准备工作。 创建及配置迁移任务:您只需在控制台上进行简单操作,即可完成迁移任务的创建,详情请参见创建及配置迁移任务。 迁移任务管理...
架构原理
本文介绍数据库传输服务 DTS 服务的整个系统架构和原理。 数据迁移 结构迁移:读取源库表结构定义语法,重新组装成目标库的语法格式。 全量迁移:全量读取源表内容并写到对应的目标表。 增量迁移:目标库增量日志解析和回放,实现数据在线迁移。 后置结构迁移:为保证数据迁移的性能和迁移任务的稳定性,部分数据库迁移对象会在增量迁移结束后进行创建。需要进行后置结构迁移的对象包括:MySQL:TRIGGER、EVENT。 PostgreSQL:TRIGGER、RUL...

一张图看懂数据库原理的软件-相关内容

火山引擎新一代数据库的探索与实践

点击上方👆蓝字关注我们! 伴随着云计算、分布式技术的逐步落地,急剧膨胀的数据规模、多样化的数据类型、更复杂的业务特征给数据存储、计算等带来了更严峻的挑战;数据库的形态也随之发生了... **《云原生数据库 veDB 核心技术剖析与展望》**张雷|火山引擎数据库技术负责人veDB 是一款分布式数据库,采用了云原生计算存储分离架构。本次演讲将为大家介绍火山引擎这款云原生数据库的核心技术原理,并对未...

一文理解 HyperLogLog(HLL) 算法 | 社区征文

被广泛用于各个数据库产品中。与精确的基数统计算法相比,HLL 具备**可合并性 (mergeability)** ,因而可以方便地对海量数据进行并行计算,被广泛地用于大数据多维分析场景中。例如分别统计一款 APP 每个小时的 UV ... 这就是利用概率论来估算基数所依据的基本原理。在上述过程中涉及了一个重要步骤,就是将每个待观察的数据进行 hash 操作。为什么需要 hash 操作,而不是直接观察数据本身对应的二进制串呢?这是因为游戏要求每次取...

什么是数据库传输服务

是一款集数据迁移、同步和订阅于一体的数据流服务,支持关系型数据库、非关系型数据库等数据源间的数据交互,降低数据库之间数据流通的复杂性。帮助您在业务不停服的情况下轻松完成数据库迁移上云,通过实时同步通道轻松构建高可用数据库容灾架构,同时可以根据自身需求自由消费数据订阅提供的云数据库实时增量数据。 产品优势数据库传输服务 DTS 支持关系型数据库、非关系型数据库的数据传输。相较于第三方迁移工具,数据库传输服务 ...

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

幻兽帕鲁游戏服务器4C16G3M

10人畅玩不卡顿,100%性能独享,每天只需0.7元
22.00/558.86/月
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

分布式数据库在抖音春晚活动中的应用

张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月份的榜单上,MySQL 和 PG 都是关系型数据库的 Top5。这就意味着,如果我们想做一款数据库产品,大概率永远都绕不过 MySQL 和 PG... 我们废除了一些原生的刷盘机制,再结合新硬件做了高效的 append only 模型,并且丰富了 redo log 的类型和语义来支撑整个系统的运转。- 实现了 Extent Data Cache。它是基于共享内存实现的。当数据库进程意外宕机...

达梦@记一次国产数据库适配思考过程|社区征文

若是通过**DM8工具去建表建字段或者带小写加双引号创建脚本**,出现双引号则在实际的sql方言中也需要加上双引号,否则执行sql会抛出视图或表不存在,字段列名不存在的异常。![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0b992f4419994e2fa9f6ed6699f72c03~tplv-k3u1fbpfcp-5.jpeg?)若是通过**Mysql或Oracle或其他数据库,文件等方式迁移导入**。这里记录一下迁移过程中遇到的问题,**在迁移的时候,报某些字段超...

基于云数据库 PostgreSQL 版构建智能交互式问答系统

本文就如何利用云数据库 PostgreSQL 版和大语言模型技术(Large Language Model,简称 LLM),实现企业级智能交互式问答系统进行介绍。通过本文,您将学习了解到:交互式问答系统原理、PostgreSQL 向量化存储和检索技术,... 人们看到了一种更智能的实现方式,通过问答的方式,多方面提高知识获取的效率、准确性和用户体验。 然而,对于特定垂直领域的企业来说,生成式人工智能的局限性也显而易见,例如大模型训练周期长、缺乏对某一领域专业知...

火山引擎上云迁移指南(二):迁移实施

详细说明请参考[火山引擎上云迁移指南(一):上云迁移背景](https://developer.volcengine.com/user/444680621001448)。本文将从云上网络改造、应用迁移、存储迁移、中间件迁移和数据库迁移等部分为您介绍上云迁移的... 火山引擎即将上线服务器迁移工具,帮助您快速完成服务器的迁移,敬请期待。#### 迁移系统镜像盘 - **系统镜像重新部署**:各云厂商的cloudinit的脚本不同,故云厂商的镜像很难实现通用,建议采用重新部署或DeVops推...

Routine Load

Routine Load 是一种基于 MySQL 协议的异步导入方式,支持持续消费 Apache Kafka的消息并导入至 StarRocks 中。本文介绍 Routine Load 的基本原理、以及如何通过 Routine Load 导入至 StarRocks 中。本文图片和内容... [load_properties][job_properties]FROM data_source[data_source_properties]参数说明: 参数 描述 database_name 选填,目标数据库的名称。 job_name 必填,导入作业的名称。 table_name 必填,目标表的名称。 load_...

【通俗讲解】向量数据库的崛起|社区征文

对话记忆是通过将对话记录存储在外部内存或数据库中实现的,而不是模型内部的记忆功能。当我们向模型发送消息时,程序会自动从存储的对话记录中选择最近的几次对话(在4096 tokens的限制内),并通过 prompt 组合成最终... 对于一张图像,特征可以包括像素值、颜色直方图等;对于文本,特征可以是单词频率、词性等。**向量(Vector):** - 向量是一个有序的数学对象,由一列数字组成,可以表示空间中的一个点。 - 在机器学习中,向量常用...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

幻兽帕鲁游戏服务器4C16G3M

10人畅玩不卡顿,100%性能独享,每天只需0.7元
22.00/558.86/月
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

产品体验

体验中心

幻兽帕鲁服务器搭建

云服务器
快速搭建幻兽帕鲁高性能服务器,拒绝卡顿,即可畅玩!
即刻畅玩

白皮书

从ClickHouse到ByteHouse
关于金融、工业互联网,都有对应的场景特性、解决策略、实践效果具体呈现,相信一定能解决你的诸多疑惑
立即获取

最新活动

热门联机游戏服务器

低至22元/月,畅玩幻兽帕鲁和雾锁王国
立即部署

火山引擎·增长动力

助力企业快速增长
了解详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询