图数据库2019
社区干货
字节跳动自研万亿级图数据库 & 图计算实践
本文将对字节跳动自研的分布式图数据库和图计算专用引擎做深度解析和分享,展示新技术是如何解决业务问题,影响几亿互联网用户的产品体验。来源:字节跳动技术团队图状结构数据广泛存在 ... 而图计算与之不同,是解决大规模图数据处理的方法,面对 OLAP 场景,是对整个图做分析计算,下图(引用自 VLDB 2019 keynote 《Graph Processing: A Panaromic View and Some Open Problems》)描述了图计算和图数据库的...
字节跳动 NoSQL 的探索与实践
图数据库集群* 日均运行 **1000+** 图计算任务* 服务器规模 **1W+** 台。字节跳动为什么要自研这样一个庞大的系统?作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin...
字节跳动 NoSQL 的探索与实践
1000+ 图数据库集群- 日均运行 1000+ 图计算任务- 服务器规模 1W+ 台字节跳动为什么要自研这样一个庞大的系统?作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也...
字节跳动 NoSQL 的探索与实践
服务器规模 1W+ 台。字节跳动为什么要自研这样一个庞大的系统?作为业内最大的图生态之一,现有的一些开源解决方案还不能满足字节跳动对图场景的需求。所以在 2018-2019 年,字节跳动就尝试自研分布式图数据库,最初是为了解决抖音关系的多度在线查询(约百万 QPS),当时最主要的功能是支持定制点和边的接口。 在 2019 年-2021 年,ByteGraph 已经支持了属性图模型和 Gremlin 语法,也在公司内部广泛落地,集群数量快速扩张,并逐步标...
特惠活动
图数据库2019-优选内容
图数据库2019-相关内容
DescribeDBInstances
DBEngineVersion String 否 SQLServer_2019_Std 兼容版本。取值如下: SQLServer_2019_Std:表示 SQL Server 2019 标准版。 SQLServer_2019_Web:表示 SQL Server 2019 Web 版。 SQLServer_2019_Ent:表示 SQL Server 2019 企业版。 InstanceType String 否 HA 实例类型。取值如下: HA:表示高可用类型。 Basic:表示基础版类型。 Cluster:表示集群版类型。 说明 在 DBEngineVersion 设置为 SQLServer_2019_Std 时,Insta...
基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录
数据库、万维网、生物信息学、多媒体、自然语言处理、人机交互、社会网络计算、高性能计算及大数据挖掘等众多领域的研究者,为来自学术界、企业界和政府部门的相关人员提供了一个学术交流和成果展示的理想场所。... 火山引擎的工程师和北京大学的研究者一起设计了一种结合机器学习方法与人类专家知识的基础设施成本优化框架(如图1所示),该框架以贝叶斯优化算法为基础,使用高斯过程作为代理模型学习配置参数集与任务成本/运行时长...
火山引擎 DataLeap 套件下构建数据目录(Data Catalog)系统的实践
图数据库等系统存储元数据,维护成本很高;接入一种元数据会增加2~3个ETL任务,运维成本直线上升## 新版本目标基于上述痛点,火山引擎 DataLeap 研发人员重新设计实现Data Catalog系统,希望能达成如下目标:- 产... 基础能力建设(2017-2019):数据源主要是离线数仓Hive,支持了Hive相关库表创建、元数据搜索与详情展示、表之间血缘,以及将相关表组织成业务视角的数据专题等- 中阶能力建设(2019-2020年中):数据源扩展了Click...
干货 | 字节跳动构建Data Catalog数据目录系统的实践(上)
图数据库等系统存储元数据,维护成本很高;接入一种元数据会增加2~3个ETL任务,运维成本直线上升。**04 -****新版本目标**基于上述痛点,我们重新设计实现Data Catalog系统,希望能达成如下目标:*... * 基础能力建设(2017-2019):数据源主要是离线数仓Hive,支持了Hive相关库表创建、元数据搜索与详情展示、表之间血缘,以及将相关表组织成业务视角的数据专题等* 中阶能力建设(2019-2020年中):数据源扩展了Clickhous...
火山引擎 DataLeap:揭秘字节跳动数据血缘架构演进之路
## 第一阶段:2019 年左右开始第一阶段主要提供数据血缘基础能力,以 Hive 和 ClickHouse 为代表,支持表级血缘、字段血缘,涉及 10+元数据。## 第二阶段:从 2020 年初开始第二阶段引入了任务血缘,同时支持的元数... 然后把这些变更加载到图中。除此之外,血缘中涉及的元数据会冗余一份,并存储到图里。- 在血缘存储方面(见上图右边部分),除了图数据库之外,血缘本身也会依赖元数据的存储,如 Mysql 以及索引类存储。- 在血缘...
资源权限管理
ByteHouse 中所有可以执行的操作都定义了相关权限。ByteHouse 对于角色的权限包括以下两种: 特定于资源的授权:创建表(与数据库相关)、插入新数据(与表相关)和运行计算组(与仓库相关)等。 非特定于资源的权限:如创建... 表权限与数据库权限相似,点击下图中的按钮设置权限。向表添加新权限 列级权限列级访问控制允许用户为列配置权限,保障只有特定用户可以访问。该功能对于限制访问敏感列(如个人身份信息PII)尤其有用。要提供列级权限...
超复杂调用网下的服务治理新思路
下图是一个常规的微服务架构,流量从客户端过来后,会通过 Gateway 进入微服务层,这时微服务之间相互调用、相互依赖就形成了所谓的调用链。这些调用链相互交织,最终形成了调用网。,**除了图数据库之外,血缘本身也会依赖元数据的存储,如 Mysql 以及索引类存储。 **在...
ELT in ByteHouse 实践与展望
字节内部开始了对各种数据库的选型。经过多次实验,在实时分析版块,字节内部决定开始试水 ClickHouse。2018 年到 2019 年,字节内部的 ClickHouse 业务从单一业务,逐步发展到了多个不同业务,适用到更多的场景,包括 BI 分析、A/B 测试、模型预估等。在上述这些业务场景的不断实践之下,研发团队基于原生 ClickHouse 做了大量的优化,同时又开发了非常多的特性。2020 年,ByteHouse正式在字节跳动内部立项,2021年通过火山引擎对...
