[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5357a124a5134af89ad57441c53d42a2~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715444458&x-signature=D%2B%2BZ3aE%2FbtsHvBNHTBQDJZUkPQQ%3D) 本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术...
=&rk3s=8031ce6d&x-expires=1715444455&x-signature=eBAVMBTSh3mnhSJU%2B0M7pf4e8mg%3D)上图是字节典型的广告后端架构,数据通过 Kafka 流入不同的系统。对于离线链路,数据通常流入到 Spark/Hive 中进行计算,结... 数据库领域专家 & HBase Committer。北京邮电大学硕士,曾就职于 Nebula Graph、蚂蚁金服、猿辅导等公司,一直从事数据库相关研发工作。 ■ 推荐阅读 [![picture.image](https:/...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/cad59159ea6a4d9ea9a813edc89c33d1~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715358066&x-signature=shl35Qf7uI1FDAO3Y3xsoZX1T38%3D)上图是字节典型的广告后端架构,数据通过 Kafka 流入不同的系统。对于离线链路,数据通常流入到 Spark/Hive 中进行计算,结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/aadd2238c5db4717a892c3dc0244cb08~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715271632&x-signature=f7uh4%2BVSURxGPW8EEy%2BJOSUHEQo%3D) 近两年随着大模型技术的快速发展,图片、视频、自然语言等多模态、非结构化数据的查找需求变大,非结构化数据的量级也远大于结构化数据,传统数据库已经无法满足如此多样化数据的处...
前言 pg_dump 是 PostgreSQL 原生的备份工具。pg_dump 生成的备份文件可以是一个 SQL 脚本文件,也可以是一个归档文件。 SQL脚本文件是纯文本格式的文件,它包含许多SQL命令,执行这些SQL命令可以重建该数据库并将之恢复到保存成脚本时的状态。 归档格式的备份文件必须与pg_restore一起使用来重建数据库,这种格式允许pg_restore选择恢复哪些数据,甚至可以在恢复之前对需要恢复的条目重新排序 关于实验 预计部署时间:20分钟级别:初级...
云数据库 veDB MySQL 版支持通过公网地址和私网地址连接实例。本文介绍使用客户端通过公网和私网连接 veDB MySQL 实例的操作步骤。 前提条件已创建实例,且实例处于运行中状态。 已创建数据库和账号。 已准备云服务... sql mysqladmin -V 执行以下命令连接 veDB MySQL 数据库。 sql mysql -h<连接地址> -P<端口> -u<用户名> -p -D<数据库名称>选项 示例 说明 -h vedbm-p52kx6wh****.master.mysql.vedb.ivolces.com veDB MySQL 实...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/aadd2238c5db4717a892c3dc0244cb08~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715271632&x-signature=f7uh4%2BVSURxGPW8EEy%2BJOSUHEQo%3D) 近两年随着大模型技术的快速发展,图片、视频、自然语言等多模态、非结构化数据的查找需求变大,非结构化数据的量级也远大于结构化数据,传统数据库已经无法满足如此多样化数据的处...
以及删除数据库。# 关于实验预计部署时间:20分钟级别:初级相关产品:RDS MySQL受众: 通用# 环境说明1. 如果还没有火山引擎账号,点击此[链接](https://console.volcengine.com/auth/signup/?redirectU... 如下图。 ![](https://lf3-volc-editor.volccdn.com/obj/volcfe/sop-public/upload_bccf81997c8183333bc5937e5eea7a9a)3. 从上到下,选择RDS 配置信息,我们手动指定了实例名称,实例规格选择2C4G, 存储空间选择...
本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management for Streaming Services... =&rk3s=8031ce6d&x-expires=1715444476&x-signature=f0V1syGD6Fbnd%2BgahbXwcMtf5zM%3D)上图展示了 StreamOps 的总体架构和工作流程。其主要包括 3 个组件:1. 控制平面服务 (Control Plane Service) :可水平拓...
(图中有单根尖刺,这个具体问题要具体分析优化,我们这里主要阐述整体水平的优化) ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/d49e9d30a0e1410e86e9e689814eb... 我们很简单的就可以从数据库全部查询出来放在缓存,但如果用户收藏的内容比较多呢,那也会可能造成大Key问题,如果继续分片存储的话又会回到了原来的方案。我们讨论出以下两种方案: **方案1. 处理大数...
## 1. 什么是事务事务是数据库管理系统(DBMS)执行过程中的一个逻辑单位(不可再进行分割),由一个有限的数据库操作序列构成(多个DML语句,select语句不包含事务),要不全部成功,要不全部不成功。如 A 给 B 要划钱,A 的账户-1000 元, B 的账户就要+1000 元,这两个 update 语句必须作为一个整体来执行,不然 A 扣钱了,B 没有加钱这种情况就是错误的。那么事务就可以保证 A 、B 账户的变动要么全部一起发生,要么全部一起不发生。##...
数据库差别较大,本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。Elasticsearch 是一种分布式的、近实时的海量数据存储、检索与分析引擎。我们常说的“ELK”就是指 Elasticsearch、Logstash / Beats、Kibana 组成的具备收集、存储、检索和可视化的数据系统。ES 在类似数据系统中发挥着数据存储与索引、数据检索、数据分析等作用。![picture.image](https://p3-volc-community-sign.by...
分布式数据库架构简介 ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/4880b517a7794b5bbfba24c6cbdf7121~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715185263&x-signature=AvH6YeFqOH8OZDCM5u4OCnUq3Yo%3D)相信对数据库感兴趣的同学对上面这张图不会陌生。这张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月...