MySQL 数据库中的事务和存储过程是两个不同的概念,我将会分别解释这两个概念,然后提供一个简单的存储过程示例。1. **事务(Transaction)**:数据库事务是指一个或一组SQL语句的逻辑单元,这个逻辑单元中的操作要么全部执行,要么全部不执行。如果在执行过程中出现错误,那么事务将会回滚(Rollback),即撤销已经执行的操作;如果所有操作都成功执行,那么事务就会被提交(Commit),数据会被永久保存在数据库中。事务的主要特点是可以保证在...
# 背景在混部场景下,内存管理是一个很重要的话题:一方面,当节点或容器的内存紧张时,业务的性能可能会受到影响,比如出现时延抖动或者 OOM。在混部场景下,由于对内存进行了超卖,该问题可能会更加严重。另一方面,节点上可能存在一些较少被使用但未被释放的内存,导致可以出让给离线作业使用的内存量较少,无法实现有效的超卖。针对上述问题,字节跳动将其在大规模在离线混部过程中积累的**精细化**的内存管理经验,总结成了一套**用...
内存管理是一个很重要的话题:一方面,当节点或容器的内存紧张时,业务的性能可能会受到影响,比如出现时延抖动或者 OOM。在混部场景下,由于对内存进行了超卖,该问题可能会更加严重。另一方面,节点上可能存在一些较少被使用但未被释放的内存,导致可以出让给离线作业使用的内存量较少,无法实现有效的超卖。针对上述问题,字节跳动将其在大规模在离线混部过程中积累的精细化的内存管理经验,总结成了一套用户态的 Kubernetes 内存管理...
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 执行语句的过程:driver首先parse 语句,生成AST tree,planner选择一个特定的查询计划实现来分析各种类型的语句;在分析的过程中,Driver需要向MetaStore检索需要的元数据,元数据存储在PGSQL里面;hive 翻译queries...
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... 执行语句的过程:driver首先parse 语句,生成AST tree,planner选择一个特定的查询计划实现来分析各种类型的语句;在分析的过程中,Driver需要向MetaStore检索需要的元数据,元数据存储在PGSQL里面;hive 翻译queries...
RocketMQ Broker 单个实例下所有的 Topic 都使用同一个 CommitLog 来存储,即单个实例消息整体有序。CommitLog 单个文件大小默认 1G,文件文件名是起始偏移量,总共 20 位,左边补零,起始偏移量是 0。假设文件按照默认大小 1G 来算:* 第一个文件的文件名为 00000000000000000000 ,当第一个文件被写满之后,开始写入第二个文件;* 第二个文件的文件名为 00000000001073741824 ,1G=1073741824=1024*1024*1024;* 第三个文件的文件名...
## Redis 简介Redis 是大家日常工作中使用较多的典型 KV 存储,常年位居 DB-Engines Key-Value 存储第一。Redis 是基于内存的存储,提供了丰富的数据结构,支持字符串类型、哈希/列表/集合类型以及 stream 结构。Re... Redis 集群模式的原理是把保存在其中的数据做了分片,每一部分数据由不同的 Redis 实例承担。Redis 的典型应用场景有以下 3 种:- **缓存**:因为 Redis 是基于内存的存储,它的读写请求会在内存执行,请求响应的...
JanusGraph的存储后端,通常是一个Key-Column-Value模型的系统, **本文主要讲述了使用MySQL作为JanusGraph存储后端时,在设计上面的思考,以及在实际过程中遇到的一些问题。** ![picture.image](https://p3-... **对于某些存储组件来说,提供可序列化隔离机制或者多行原子写入代价会比较大。** JanusGraph中的每个图形操作都发生在事务的上下文中,根据TinkerPop的事务规范,每个线程执行图形上的第一个操作时便会打开...
存储、查询、分析、可视化、告警以及消费投递,将日志的生命周期进行闭环。## Kubernetes 下日志采集的开源自建方案### 开源自建火山引擎早期为了快速上线业务,各团队基于开源项目搭建了自己的日志系统,以满足基本的日志查询需求,例如使用典型的开源日志平台 Filebeat+Logstash+ES+Kibana 的方案。但是在使用过程中,我们发现了开源日志系统的不足:- 各业务模块自己搭建日志系统,造成重复建设。- 以 ES 为中心的日志架构可...
存储、查询、分析、可视化、告警以及消费投递,将日志的生命周期进行闭环。## Kubernetes 下日志采集的开源自建方案### 开源自建火山引擎早期为了快速上线业务,各团队基于开源项目搭建了自己的日志系统,以满足基本的日志查询需求,例如使用典型的开源日志平台 Filebeat+Logstash+ES+Kibana 的方案。但是在使用过程中,我们发现了开源日志系统的不足:- 各业务模块自己搭建日志系统,造成重复建设。 - 以 ES 为中心的日志...
本文以动态创建存储卷方式为例,介绍如何通过容器服务 VKE 实现云盘持久化存储。 应用场景通常 Deployment 用于部署无状态服务,StatefulSet 用于部署有状态服务。本节内容主要针对有状态服务挂载块存储实现数据持久... 并把调度结果同步到 PVC 到 metadata 中。 Provisioner 发现 PVC 中写入了调度信息,根据调度信息判断目标存储到相关信息如节点、可用区等。 触发 PV 的创建过程。 说明 云盘在挂载时,存在可用区的限制,只有可用区一...
存储、查询、分析、可视化、告警以及消费投递,将日志的生命周期进行闭环。 Kubernetes 下日志采集的开源自建方案 **开源自建**火山引擎早期为了快速上线业务,各团队基于开源项目搭建了自己的日志系统,以满足基本的日志查询需求,例如使用典型的开源日志平台 **Filebeat+Logstash+ES+Kibana** 的方案。但是在使用过程中,我们发现了开源日志系统的不足:* 各业务模块自己搭建日志系统,造成...
ByConity 是由字节跳动开源的云原生数仓,采用了存储计算分离的架构,支持主流的 OLAP 引擎优化技术,实现了租户资源隔离、弹性扩缩容,并具有数据读写的强一致性等特性。 **「基于共享存储的选主方式」** 作为 ByCon... 第一个点我们需要基于对任期的设计和实现说明安全性。************************2. 问题分析************************如果要让 2 个 leader 之间任期在全局时钟下没有交叠,我们只需要保证:**假...