一张图看懂数据库原理的软件
社区干货
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
今天就跟大家一起,来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等... Slave 端重放 binlog 来达到主从数据一致。1. **数据恢复** :通过使用 mysqlbinlog 工具来恢复数据。### 1.2 binlog 数据格式binlog 日志有三种格式,分别为 STATMENT 、 ROW 和 MIXED。> 在 MySQL 5.7.7 ...
Hive SQL 底层执行过程 | 社区征文
第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce 的具体实现原理。### 一、HiveHive是什么?Hive 是数据仓库工具,再具体点就... METASTORE:元数据库。存储 Hive 中各种表和分区的所有结构信息。5. EXECUTION ENGINE:执行引擎。负责提交 COMPILER 阶段编译好的执行计划到不同的平台上。上图的基本流程是:**步骤1**:UI 调用 DRIVER 的接口...
Elasticsearch 原理与在直播运营平台的实践
在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大,本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。Elasticsearch 是一种分布式的... 存储在一个文件显然不合适。与 Kafka、Pulsar等需要存储 Append Only 数据的组件一样,ES 选择了将数据拆分成一个个分段 Segment 进行存储。1. Segment:每个 Segment 有自己的索引文件,并行查询后对结果进行合并...
分布式数据库TiDB的设计和架构
线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有... 数据库本身能够自动进行数据修复和故障转移,对业务透明- 支持 ACID 事务,对于一些有强一致需求的场景友好,例如:银行转账- 具有丰富的工具链生态,覆盖数据迁移、同步、备份等多种场景
特惠活动
一张图看懂数据库原理的软件-优选内容
一张图看懂数据库原理的软件-相关内容
分布式数据库TiDB的设计和架构
线性扩容及能够处理交易类事务的新型数据库,大数据的存储刚需不可避免。NewSQL的挑战在于,它是基于 Google Spanner/F1 论文,未开源它的代码及技术细节,是基础软件最前沿的领域之一,技术门槛最高。NewSQL 代表产品有... 数据库本身能够自动进行数据修复和故障转移,对业务透明- 支持 ACID 事务,对于一些有强一致需求的场景友好,例如:银行转账- 具有丰富的工具链生态,覆盖数据迁移、同步、备份等多种场景 算法 | 社区征文
被广泛用于各个数据库产品中。与精确的基数统计算法相比,HLL 具备**可合并性 (mergeability)** ,因而可以方便地对海量数据进行并行计算,被广泛地用于大数据多维分析场景中。例如分别统计一款 APP 每个小时的 UV ... 这就是利用概率论来估算基数所依据的基本原理。在上述过程中涉及了一个重要步骤,就是将每个待观察的数据进行 hash 操作。为什么需要 hash 操作,而不是直接观察数据本身对应的二进制串呢?这是因为游戏要求每次取...
什么是数据库传输服务
是一款集数据迁移、同步和订阅于一体的数据流服务,支持关系型数据库、非关系型数据库等数据源间的数据交互,降低数据库之间数据流通的复杂性。帮助您在业务不停服的情况下轻松完成数据库迁移上云,通过实时同步通道轻松构建高可用数据库容灾架构,同时可以根据自身需求自由消费数据订阅提供的云数据库实时增量数据。 产品优势数据库传输服务 DTS 支持关系型数据库、非关系型数据库的数据传输。相较于第三方迁移工具,数据库传输服务 ...
分布式数据库在抖音春晚活动中的应用
这张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月份的榜单上,MySQL 和 PG 都是关系型数据库的 Top5。这就意味着,如果我们想做一款数据库产品,大概率永远都绕不过 MySQL 和 PG... 我们废除了一些原生的刷盘机制,再结合新硬件做了高效的 append only 模型,并且丰富了 redo log 的类型和语义来支撑整个系统的运转。- 实现了 Extent Data Cache。它是基于共享内存实现的。当数据库进程意外宕机...
达梦@记一次国产数据库适配思考过程|社区征文
若是通过**DM8工具去建表建字段或者带小写加双引号创建脚本**,出现双引号则在实际的sql方言中也需要加上双引号,否则执行sql会抛出视图或表不存在,字段列名不存在的异常。若是通过**Mysql或Oracle或其他数据库,文件等方式迁移导入**。这里记录一下迁移过程中遇到的问题,**在迁移的时候,报某些字段超...
基于云数据库 PostgreSQL 版构建智能交互式问答系统
本文就如何利用云数据库 PostgreSQL 版和大语言模型技术(Large Language Model,简称 LLM),实现企业级智能交互式问答系统进行介绍。通过本文,您将学习了解到:交互式问答系统原理、PostgreSQL 向量化存储和检索技术,... 人们看到了一种更智能的实现方式,通过问答的方式,多方面提高知识获取的效率、准确性和用户体验。 然而,对于特定垂直领域的企业来说,生成式人工智能的局限性也显而易见,例如大模型训练周期长、缺乏对某一领域专业知...
火山引擎上云迁移指南(二):迁移实施
详细说明请参考[火山引擎上云迁移指南(一):上云迁移背景](https://developer.volcengine.com/user/444680621001448)。本文将从云上网络改造、应用迁移、存储迁移、中间件迁移和数据库迁移等部分为您介绍上云迁移的... 火山引擎即将上线服务器迁移工具,帮助您快速完成服务器的迁移,敬请期待。#### 迁移系统镜像盘 - **系统镜像重新部署**:各云厂商的cloudinit的脚本不同,故云厂商的镜像很难实现通用,建议采用重新部署或DeVops推...
