数据库框架思维导图
社区干货
分布式数据库TiDB的设计和架构
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/125153dda2484d44bd7a1cba22f0c5e1~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049244&x-signature=qWLzGHJ1WdVHXlIYahHn2VeGEzU%3D)第十二期技术夜校分享嘉宾是DBA大咖——Xiaoyu他拥有10年+互联网数据库运维经验、在游戏、电商、OTA行业从事过DBA运维工作、在大规模数据库自动化、平台化方面有较资深的落地经验。# 导...
达梦@记一次国产数据库适配思考过程|社区征文
若是通过**Mysql或Oracle或其他数据库,文件等方式迁移导入**。这里记录一下迁移过程中遇到的问题,**在迁移的时候,报某些字段超长**。于是,查看了MySql中那些字段的类型及长度,都是varchar(50) 。这里应该是迁移有些... 这样我们就能极其简易的指定 databaseId,很多小伙伴肯定会说为什么需要这样去指定?其背后的原理又是怎样的,我们是否能够扩展并自定义 databaseId?框架这层的应用真能够提供的这么 perfect 吗?在上一个Q-A中,我们...
无恒实验室联合GORM推出安全好用的ORM框架-GEN
在操作数据库时候,因为没有对应的结构体可以绑定,最后只能默默的拼接出一条SQL去执行。- 复杂的数据库表查询场景时,开发者需逐条手写数据表中的列与对应结构体的成员变量,逐条核对字段类型。遇到字段类型新增和变更,更改地方一大堆。你和你的团队是否也为此事苦恼过?由字节跳动无恒实验室与GORM作者(https://github.com/jinzhu)联合研发的开源工具GEN你值得一试!# 什么是GENGEN是一个基于GORM的安全ORM框架,其主要...
数据库顶会 VLDB 2023 论文解读 - Krypton: 字节跳动实时服务分析 SQL 引擎设
并采用了基于 Coroutine 的异步调度执行框架。以上图为例,展示了一个 Query 的执行流程。Coordinator 会把优化过的 Query 生成 Fragments 并下发给一组 Data Servers 来执行。比如上图的 Query 生成了两组 Fragments:Fragment 0 和 Fragment 1。Fragment 1 负责执行两表的 Scan 并进行 Colocate Join,生成的结果 Shuffle 给 Fragment 0 所在的 Data Server,Fragment 0 负责将数据聚合在一起后被 Coordinator 定期的取走。其中 Fr...
特惠活动
数据库框架思维导图-优选内容
数据库框架思维导图-相关内容
数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计
并采用了基于 Coroutine 的异步调度执行框架。以上图为例,展示了一个 Query 的执行流程。Coordinator 会把优化过的 Query 生成 Fragments 并下发给一组 Data Servers 来执行。比如上图的 Query 生成了两组 Fragmen... 数据库领域专家 & HBase Committer。北京邮电大学硕士,曾就职于 Nebula Graph、蚂蚁金服、猿辅导等公司,一直从事数据库相关研发工作。 ■ 推荐阅读 [事务隔离级别的会话支持事务拆分功能。 开启或关闭事...
掘地三尺,搞定 Redis 与 MySQL 数据一致性问题 | 社区征文
Redis 拥有高性能的数据读写功能,被我们广泛用在缓存场景,一是能提高业务系统的性能,二是为数据库抵挡了高并发的流量请求,[点我 -> 解密 Redis 为什么这么快的秘密](https://mp.weixin.qq.com/s/z4VjDaDDbspFz1rIB... 三次都失败则记录日志到数据库,使用分布式调度组件 xxl-job 等实现后续的处理。在高并发的场景下,**重试最好使用异步方式**,比如发送消息到 mq 中间件,实现异步解耦。亦或是利用 Canal 框架订阅 MySQL binlog ...
抖音大规模实践,火山引擎向量数据库是这样炼成的
向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式 AI 应用开发新范式的重要组成部分。用图片搜索图片或者文本搜索文本时,在数据库中存储和对... 所以在计算框架搭建好之后,也必须关注其内核,如何提供高性能的向量化检索服务以满足业务的苛刻需求。由于向量化检索是典型的计算密集、数据密集场景,其优化方向主要围绕提升吞吐、降低服务成本、提升稳定性开展。通...
抖音大规模实践,火山引擎向量数据库是这样炼成的
AI时代,如何用好大模型是当前各行各业瞩目的焦点。向量数据库作为大模型“记忆体”,不仅能够为其提供数据存储,而且能通过数据检索、分析让大模型进行知识增强,成为生成式AI应用开发新范式的重要组成部分。用图片... 所以在计算框架搭建好之后,也必须关注其内核,如何提供高性能的向量化检索服务以满足业务的苛刻需求。由于向量化检索是典型的计算密集、数据密集场景,其优化方向主要围绕提升吞吐、降低服务成本、提升稳定性开展。通...
Shell 调用 DataX 最佳实践
DataX 是开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。DataX 作为数据同步框架,它将不同数据源的... "connection": [ { "jdbcUrl": [ "jdbc:mysql://ip:port/databases" // 数据库的JDBC私...
应用场景
本文介绍文档数据库 MongoDB 版常见的应用场景。 游戏服务行业游戏行业特点是用户量增长快,有出海需求,且经常需要进行开服、分服、合服等操作。文档数据库 MongoDB 版提供的多种功能特性正好可以方便、快速地满足游... 文档数据库 MongoDB 版支持构建分布式数据库集群,达到无上限的容量存储,同时也方便在线扩容。原生的 map-reduce 聚合框架能帮助您从这些数据中挖掘出巨大的隐含价值。
如何构建企业内的 TiDB 自运维体系
分布式数据库解决的更多是吞吐量和容量上的需求,比如点查或简单查询的 RT 无法像单机数据库那么短,但是可以通过节点扩容的方式提升 QPS 吞吐量。热点数据这里就不展开讲了,它本身也不是分布式数据库能解决的范畴。如果你的业务场景是一个对 RT 要求很高的场景,那么优先使用 MySQL。如果是高吞吐量需求优先,可以尝试使用 TiDB。 关于聚合查询。由于 TiDB 的存储节点 TiKV 不只是具备存储能力,TiKV 实现了coprocessor 框架来支持...
快速入门MyBatis
MyBatis 是一个拥有“快速,可靠,灵活”特性的对象关系映射 (ORM) 框架。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型,接口和 Java 的 POJO(Plain Old Java Objects)到数据库中的记录。MyBatis 允许你构建出具有动态 SQL 语句的持久层。本文旨在向您介绍如何迅速入门 MyBatis。将带领您通过 MyBatis 的核心要素,并讲解如何开始一个基本的 MyBatis 项目。1. 下载 MyBatisMyBatis 可以从官网(http://www.mybatis.or...
