Hbase、fusion(滴滴自研 KV 存储) 三种存储引擎,对于维表数据比较少的情况可以使用 MySQL,对于单条数据大小比较小,查询 QPS 比较高的情况,可以使用 fusion 存储,降低机器内存资源占用,对于数据量比较大,对维表数据... {统计时间周期范围缩写}`:- {业务/pub}:参考业务命名- {数据域缩写}:参考数据域划分部分- {数据主粒度缩写}:指数据主要粒度或数据域的缩写,也是联合主键中的主要维度- {自定义表命名标签缩写}:实体名称可以根...
HBase、MongoDB 和 InfluxDB。此外自研的平台上提供了 ByteGraph 和 ABase,这两者和字节跳动的业务息息相关,也是内部业务重度依赖的两大产品。## 字节跳动 NoSQL 的最新实践字节跳动的大部分业务数据可归纳为以... Gremlin 查询语言以及丰富的写入和查询接口,具有海量存储和吞吐能力,单体集群可达万亿条边,支持百万 QPS 图上多度读写。ByteGraph 也支持 Super Node 热点访问,单个过亿出度节点 10K 量级 QPS 毫秒级读写。![im...
存储和查询高频产生的各种时间序列数据,对此做了专门的设计和优化,专门用于这类场景。图 NoSQL 数据库主要用于处理“关系”数据。这里的“关系”不是关系型数据库中的关系,而是指不同对象之间的联系。例如,社交关系(人与人的关系)、推荐关系(人与物的关系)、关联关系(物与物的关系)等等。这类数据用关系型数据库很难处理,特别是在互联网海量数据条件下更复杂,所以图 NoSQL 数据库主要是针对这类场景做了专门的设计与优化,用于进...
易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 -...
CreateTime String 2022-11-07T07:17:55Z 实例创建时间(UTC 时间)。 DBInstanceEndpoint Array of DBInstanceEndpointObject 请参见返回示例。 连接地址信息列表。更多详情,请参见数据结构。 DeletionProtection String enabled 实例删除保护功能开关状态。取值范围: enabled:已开启。 disabled:未开启。 说明 关于实例删除保护的更多信息,请参见实例删除保护。 EngineVersion String HBase_2.0 HBase 数据库版本。当前仅支...
创建实例是开启使用表格数据库 HBase 版的第一步。本文介绍如何创建 HBase 实例。 前提条件已注册火山引擎账号,并完成实名认证。账号注册和实名认证的操作步骤,请参见如何进行账号注册和实名认证。 已创建私有网络... 数据库版本 当前仅支持HBase 2.0,无需选择。 可用区 每个地域都有多个相互隔离的区域,称为可用区。不同可用区间没有实质区别。 实例规格 Master 节点,需要选择如下配置:节点规格:选择 Master 节点的资源规格。更...
本文汇总表格数据库 HBase 版的 API 接口中使用的数据结构定义详情。 AllowListObject白名单信息。被 DescribeAllowLists 接口引用。 名称 类型 示例值 描述 AllowListDesc String test 白名单的备注。 AllowListI... 取值范围如下: Zk:ZK 地址。 Thrift:Thrift2 地址。 HBaseReUsedEipId:当 ZK 连接地址或 Thrift2 连接地址开启了公网访问时,会返回该参数,表示实例中其他组件(如 RS 节点、Master 节点等)共享绑定使用的 EIP ID 信...
Thrift 是 HBase 标准版实例中的一种服务组件,基于 Apache Thrift(多语言支持的通信框架)开发。本文介绍基于 Java 程序通过 Thrift2 地址访问 HBase 实例的操作步骤。 前提条件如需通过私网地址访问 HBase 实例,需... 操作步骤获取 HBase 实例的 Thrift2 连接地址。连接地址查看方法,请参见查看连接地址。 说明 表格数据库 HBase 版默认未开通 Thrift2 地址,您需要先申请 Thrift2 连接地址,申请方法,请参见申请 Thrift2 连接地址...
调用 ModifyInstanceDeletionProtectionPolicy 接口开启或关闭实例删除保护功能。 请求类型同步请求。 请求参数 名称 类型 是否必选 示例值 描述 InstanceId String 是 hb-cngl56292097**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有 HBase 实例的基本信息,包括实例 ID。 DeletionProtection String 是 enabled 开启或关闭实例删除保护功能。取值范围: enabled:开启。 disabled:关闭。 说...
注意事项当前仅支持查看最近 7 天内的运行日志或错误日志详情。 请求参数参数 类型 是否必选 示例值 描述 InstanceId String 是 mongo-replica-e405f8e2**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有 MongoDB 实例的基本信息,包括实例 ID。 Limit Long 是 10 每页记录数,取值范围为 1~1000。 StartTime Long 是 1712728800 查询开始时间,格式为 Unix 时间戳,单位:秒。 EndTime Long 是 ...
Filters List 必选 后台任务列表的筛选条件。需要指定: Key:筛选项。支持设置为:Source。其 Value 可设置为 OpenAPI 或 WebConsole。 Type。其 Value 可设置为 ModifyPlugin(插件变更)、ScaleInstance:(变更配置)或 RebootInstance(实例重启)。 Value:筛选项的值。 StartTime Integer 可选 1645523741 后台任务的开始时间,Unix 时间戳格式。 说明 通过时间范围筛选后台任务列表时,需要同时指定 StartTime 和 EndTim...
推流数据:支持查询帧率、码率、时间戳、最大音视频帧间隔; 推流记录:支持查询每条推流记录的开始和结束时间、推流时长、推流客户端 IP、断流原因; 回源数据:支持查询码率、帧率、时间戳和最大音视频帧间隔; 拉流数据:支持查询带宽数据、流量数据、在线人数。 背景信息支持查询最近 31 天的推流统计数据和最近 7 天的拉流统计数据,单次查询的时间跨度 ≤ 24 小时。 支持查询删除域名的推流数据和拉流数据。 前提条件需要查询推流...
注意事项当前仅支持查看最近 7 天内的慢日志详情。 请求参数参数 类型 是否必选 示例值 描述 InstanceId String 是 mongo-replica-46cb08bc**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有 MongoDB 实例的基本信息,包括实例 ID。 Limit Long 是 10 每页记录数,取值范围为 1~1000。 StartTime Long 是 1712728800 查询开始时间,格式为 Unix 时间戳,单位:秒。 EndTime Long 是 1712728860 ...