hello,大家好,我是张张,「架构精进之路」公号作者。 在 MySQL 中我们经常会接触到三个核心日志,它们分别是:binlog 、redo log、undo log。好多同学对于它们可能并不陌生,但是具体区分起来各自的功能用途以及实现原理,那可能认知就会比较模糊了,今天就跟大家一起,来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所...
### 企业级数据平台构建背景 在没有大数据生态之前,企业内部大多数据量沉淀是有上限的,大多数的企业报表分析通过 Excel、Mysql、SqlServer 就可以满足相关的业务分析,随着互联网的蓬勃发展以及移动互联网浪潮的冲击下,数据量呈现了指数级的增长趋势,在原有的技术实现路径中已经无法满足这种大数据量场景的分析需求,于是,随着大数据开源技术的发展,以 Hadoop 生态体系为根基的大数据技术栈得以填补了这块的不足。 从技...
MySQL以及我的项目。一直到晚上两点才不舍的关上电脑,毕竟第二天还要去面试。刚到公司拍的,觉得还是挺美的。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/48798da29... 共同探讨学习之路。🔥在群里还认识了另一位大佬,王老板,一位实打实的大哥,可能因为三观和性格的原因我们从开始在群里简单的聊天,到最后加上了好友,我们很聊得来,我们彼此分享一些自己的一些经历,他也会作为一个...
离线集成通道新增 MySQL->Doris、LAS->Doris、LAS->ByteHouse(云数仓版)、MySQL->ByteHouse(云数仓版)。流式集成通道新增 BMQ->ES、BMQ->CFS、BMQ->LAS![picture.image](https://p3-volc-community-sign.byteim... 通过DataFun数据治理系列分享了字节跳动血缘架构演进之路、以及血缘技术实现及具体示例介绍。本主题重点阐述了字节跳动血缘系统架构设计与背景理念与演进实践。并通过血缘模型的的基础设计和优化,分享字节内部的数...
mysql,同时参与开源operator的代码贡献。下面是我的 K8s 开发课的笔记:[K8S二次开发实践](https://github.com/zhuyaguang/go-exp/tree/main/k8s-practice)### 网络和存储- 读完了杜军大佬的《k8s网络权威指南》- 读完[Kubernetes 存储](https://www.qikqiak.com/k8strain/storage/local/) 博客网络和存储只是刚入门### Golang 精进- 读完华为任洪彩大佬的《Go语言专家编程》- 整理了自己写的项目代码,总结了关于并...
如 Mysql 以及索引类存储。- 在血缘消费层面,第一版只支持通过 API 进行消费。**最后总结该版本的三个关键点:**- 血缘数据每天以离线方式**全量更新**。- 通过对比血缘快照来判断血缘更新操作,后面将为大家详细解答为什么要通过对比的方式。- 冗余一份元数据存储到图数据库中。### 存储模型![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/ef5fb324ca474fc0a08e28ea5fc6a4...
**数据类型的使用技法和以及每种数据类型底层实现原理是你核心筑基必经之路,好好修炼。**筑基稳固,修炼心法,让你的程序更快还能做到极致节省内存。## String(字符串)### 1. 是什么字符串类型的使用最为广泛... > MySQL:“你都是用 C 语言开发出来的,C 语言本就有字符串,吓唬谁呢。”格局能不能打开一点,我并没有直接使用 C 语言的字符串,而是自己搞了一个 SDS 结构体来表示字符串。SDS 的全称是 Simple Dynamic String,中...
大多数企业都走上了数字化转型之路,数字化就意味着企业办公自动化。用户联络需求的升级,使传统客服及营销方式已经不能满足企业发展的需求,在此背景下,智能客服与智能营销迎来飞速增长。智齿科技的全功能客服系... 集简云将MySQL与智齿对接,当用户注册或者购买产品后,同步更新用户信息在客服系统中,以便后续用户咨询时自动展现用户信息,购买商品等关键数据;* **智齿科技+电商系统:**电商系统有新的订单产生后,大量的订单...
MySQL 等,会有一批无状态的 NNProxy 组成,他们提供了请求路由、Quota 限制、Tracing 能力及流量限速等能力。### **元数据** **层**这一层主要模块有 Name Node、ZKFC 和 BookKeeper(不同于 QJM,BookKeepe... [字节跳动 HDFS 集群的多机房架构演进之路。](http://mp.weixin.qq.com/s?__biz=MzkxODM0NzQ4Mg==&mid=2247483910&idx=1&sn=3fc50d09840e8bb5a1a683aa204dacf4&chksm=c1b389b3f6c400a52e3948624c6cd95bb55a76efa3a...
MySQL 等,会有一批无状态的 NNProxy 组成,他们提供了请求路由、Quota 限制、Tracing 能力及流量限速等能力。### **元数据层**这一层主要模块有 Name Node、ZKFC 和 BookKeeper(不同于 QJM,BookKeeper 在大规模... 此前我们曾梳理过[字节跳动 HDFS 集群的多机房架构演进之路。](https://mp.weixin.qq.com/s/4Jnt1ZBJNWREGkFGC1fQeQ)在发展的过程中,可以说踩了无数的坑,大的阶段归纳起来会有这样几个阶段。### **第一阶段**业...
MySQL->EMR StarRocks、PostgreSQL->Doris - 数据地图:支持接入 EMR StarRocks、支持 LAS 引擎创建普通 Hive 表、新增查询优化功能的协议配置功能 ### **云原生** **数据仓库** **ByteHouse**- **... 通过 ByteHouse 云数仓开启你的数据分析之路![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/4e9d5cb3c7c24ef7b92150d61c49aee4~tplv-tlddhu82om-image.image?=&rk3s=8031ce...
MySQL->EMR StarRocks、PostgreSQL->Doris - 数据地图:支持接入 EMR StarRocks、支持 LAS 引擎创建普通 Hive 表、新增查询优化功能的协议配置功能### **云原生** **数据仓库** **ByteHouse**- **【** ... **### 【干货】以 100GB SSB 性能测试为例,通过 ByteHouse 云数仓开启你的数据分析之路![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/4e9d5cb3c7c24ef7b92150d61c49aee4~...
离线集成通道新增MySQL->Doris、LAS->Doris、LAS->ByteHouse(云数仓版)、MySQL->ByteHouse(云数仓版)。流式集成通道新增BMQ->ES、BMQ->CFS、BMQ->LAS![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1... 通过DataFun数据治理系列分享了字节跳动血缘架构演进之路、以及血缘技术实现及具体示例介绍。本主题重点阐述了字节跳动血缘系统架构设计与背景理念与演进实践。并通过血缘模型的的基础设计和优化,分享字节内部的数...