本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术团队图状结构数据广泛存在 ... 将客户端发来的 Gremlin 查询语句做语法解析,生成执行计划;2. 并根据一定的路由规则(例如一致性哈希)找到目标数据所在的存储节点(bgkv),将执行计划中的读写请求发送给 多个 bgkv;3. 将 bgkv 读写结果汇总以及过...
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况... C-Store 支持标准的关系型数据模型,一个数据库包含多张表,每张表包含多个attribute(column)。数据在C-Store里面不是根据逻辑数据类型进行物理存储的。反之大多数rowstore是直接存储物理表的,然后添加各种各样的ind...
## 1. 什么是事务事务是数据库管理系统(DBMS)执行过程中的一个逻辑单位(不可再进行分割),由一个有限的数据库操作序列构成(多个DML语句,select语句不包含事务),要不全部成功,要不全部不成功。如 A 给 B 要划钱,... ### 3.2 事务基本语法| 说明 | 操作 || ---- | -------------------------------------------- || 事务开始 | begin | begin work | START TRANSACTION(推荐) |...
作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也在公司内部广泛落地,集群数量快速扩张,并逐步标准化。目前字节跳动在图数据库方面的多篇论文已被 VLDB 等数据库顶...
DSL 是数据库传输服务 DTS 基于 LISP-1 标准为数据同步场景中数据处理需求设计的脚本语言。DTS 通过 DSL 脚本语言可以对数据中的字符串、日期和数值等进行抽取、转换、加工和加载。 DSL 语法特性DSL 语法拥有以下特性: 功能强大:支持大量函数组合。 操作高效:DSL 的执行无额外的运行时开销,对同步过程的性能损耗较小。 语法简单:提供了例如数据过滤、数据转换、数据脱敏等典型场景,您可以参考此类场景设置您的专属脚本语言。详...
pg_cron 是一个基于 cron 的 PostgreSQL 任务调度器扩展插件,pg_cron 的语法与 cron 相同,可以直接从数据库执行 PostgreSQL 命令。定时计划使用标准的 cron 语法,其中 * 表示任意时间都运行,特定数字表示仅在这个时间时运行。 sql ┌───────────── 分钟:0~59│ ┌────────────── 小时:0~23│ │ ┌─────────────── 日期:1~31│ │ │ ┌──────────────── 月份:1~12│...
本文介绍一些常用的的 SQL 语法,以帮助您更方便的使用 SQL 查询分析。 连接数据库服务在本地命令行工具中,执行以下命令,连接数据库服务。 Bash mysql -h{HOST} -P{PORT} -uadmin -p{PASSWORD}HOST:SQL 分析节点的访... 计算每类图书的平均价格,并按 type 分组:select type,avg(price) from tb_book group by type; ALL EXCEPT 示例。查询除了学生年龄的所有信息:select * except(age) from student; DISTINCT 示例。查询 tb_book 表...
1 概述火山引擎 E-MapReduce(EMR)StarRocks 是新一代极速全场景 MPP 型数据库。StarRocks 的愿景是能够让您的数据分析变得更加简单和敏捷。您无需经过复杂的预处理,就可以用 StarRocks 来支持多种数据分析场景的极速分析。使用 EMR StarRocks,您可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模型,兼容 MySQL 协议,支持标准 SQL 语法,便于您对接使用。本文将为您介绍通过 DataLeap 创建 EMR StarRocks 节点,使用 SQL 语句...
## 1. 什么是事务事务是数据库管理系统(DBMS)执行过程中的一个逻辑单位(不可再进行分割),由一个有限的数据库操作序列构成(多个DML语句,select语句不包含事务),要不全部成功,要不全部不成功。如 A 给 B 要划钱,... ### 3.2 事务基本语法| 说明 | 操作 || ---- | -------------------------------------------- || 事务开始 | begin | begin work | START TRANSACTION(推荐) |...
填写数据库基本信息,如下图所示。其中库名命名规则如下:请以字母或下划线开头,支持数字,字母及下划线。 不能使用关键字: 'system', 'default' or 'admin'。 最大长度不超过 63 字符。 单击创建按钮,完成数据库创建。 创建数据表在对应集群下,单击选择已创建成功的数据库名称。 单击新建数据表按钮,您可通过 SQL 批量建表和可视化建表,两种方式来新建数据表。SQL 批量建表在编辑框中输入相应建表语句,详见 SQL 语法,在编辑框中...
PostgreSQL 数据库的直连方式,可以满足用户对数据实时性的要求。 【新增】LAS 连接新增抽取新链路 在数据连接的 LAS 连接中新增抽取新链路, LAS 抽取链路不经过JDBC,改成直接传输数据到 hdfs。如下图所示: 【优化... 使用新的语法规则,便于用户方便快捷的查询数据集。 【新增】数据集所有者转移支持告警同步转移 当数据集所有者(owner)转移时,基于该数据集创建的告警所有者(owner),也会进行同步转移。 【新增】数据集新增个人数据...
作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也在公司内部广泛落地,集群数量快速扩张,并逐步标准化。目前字节跳动在图数据库方面的多篇论文已被 VLDB 等数据库顶...
缓存数据库 Redis 版支持性能分析功能,能够帮助您在使用Redis过程中,实时查看数据库中的大 Key 和热 Key 详情,同时也支持查看大 Key 和热 Key 的历史详情。本文介绍如何使用大 Key 分析功能。 操作步骤登录 Redis ... 您可以单击折线图上任意一点查看该时间点的内存使用量。如果此时存在大 Key,下方的大 Key 列表中会展示该时间点下,内存占用量最多的前 50 个 Key 详情。关于大 Key 的判断标准,请参见判断标准。 查看大 Key 列表...