数据通过 Kafka 流入不同的系统。对于离线链路,数据通常流入到 Spark/Hive 中进行计算,结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。对于实时链路, 数据会直接进入到 HBase/ES 提供高并发低时延的在线查询服务,另一方面数据会流入到 ClickHouse/Druid 提供在线的查询聚合服务。这带来的问题就像引言中所说,数据被冗余存储了多份,导致了很多一致性问题,也造成了大量的资源浪费。为了解决这个问题,我们设计...
数据通过 Kafka 流入不同的系统。对于离线链路,数据通常流入到 Spark/Hive 中进行计算,结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。对于实时链路, 数据会直接进入到 HBase/ES 提供高并发低时延的在线查询服务,另一方面数据会流入到 ClickHouse/Druid 提供在线的查询聚合服务。这带来的问题就像引言中所说,数据被冗余存储了多份,导致了很多一致性问题,也造成了大量的资源浪费。为了解决这个问题,我们设计...
接口来屏蔽差异。这一架构也受到了目前市面的多种 HSAP 系统的启发。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/cbc97a63fe9d458084715febfccd356c~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714926084&x-signature=6vUSsSU%2BltTsY7K0n9RMQBfnJ3s%3D)为了能够让 Hudi 支持更好的点查,我们复用了写时的 HBase 索引。点查请求会先访问 HBase 索引找到数据所在文件,然后...
HBase、MongoDB 和 InfluxDB。此外自研的平台上提供了 ByteGraph 和 ABase,这两者和字节跳动的业务息息相关,也是内部业务重度依赖的两大产品。## 字节跳动 NoSQL 的最新实践字节跳动的大部分业务数据可归纳为以... 为了满足内部 social graph 在线增删改查的场景,字节跳动自研了分布式图存储数据库 ByteGraph。针对刚才提到的图状数据结构,ByteGraph 支持有向属性的图数据模型、Gremlin 查询语言以及丰富的写入和查询接口,具有海...
本接口支持通过自定义查询时间段,查询该时间段的镜像回源请求次的域名明细数据用量。 注意事项请求频率:单用户请求频率限制为 50 次/秒。 数据延迟:数据延迟约为 5~10 分钟。 历史数据查询时间范围:近 93 天。 服务地址:veImageX 在全球多个区域部署,每个区域有自己对应的 OpenAPI 域名,不支持跨区域调用。具体详情请查看服务地址。 请求说明请求方式:POST 请求地址:https://imagex.volcengineapi.com/?Action=DescribeImageXMir...
此接口用于查询指定时间范围内的点播转码详细数据。 注意事项请求频率:单用户请求频率限制为 10 次/秒。 权限说明:当使用子账号请求接口时,接口会按照子账号进行权限校验,只返回该子账号有权限的数据。详见给子账号添加项目权限说明。 数据延迟:2 小时。 请求说明请求地址:https://vod.volcengineapi.com?Action=DescribeVodSpaceWorkflowDetailData&Version=2023-07-01 调试API Explorer您可以通过API Explorer在线发起调用,无需...
调用本接口查询指定调度实例下当前生效的流量分配比例。 使用说明每个请求中必须包含鉴权信息。该鉴权信息用以验证请求者的身份。参见签名机制。 使用限制节流限制:您每秒最多可以提交 10 个 API 请求。 请求说明请求方式:POST 请求地址:https://open.volcengineapi.com/?Action=DescribeDnsScheduleActiveWeights&Version=2022-03-01 请求参数Query参数名称数据类型是否必选参数说明ActionString是接口名称。当前 API 的名称为 ...
欢迎使用火山引擎全站加速,您可以使用本文档介绍的 Open API 对全站加速服务进行相关操作,如域名管理、数据监控、日志管理、刷新预热等。 域名管理接口table th:first-of-type { width: 50%;}table th:nth-of-type(2) { width: 50%;}API 接口名称 接口功能说明 CreateDomain 新增加速域名。 StartDomain 启动加速域名。 StopDomain 停用加速域名。 DescribeDomainConfig 查询域名详细配置。 DeleteDomain 删除加...
接口来屏蔽差异。这一架构也受到了目前市面的多种 HSAP 系统的启发。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/cbc97a63fe9d458084715febfccd356c~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714926084&x-signature=6vUSsSU%2BltTsY7K0n9RMQBfnJ3s%3D)为了能够让 Hudi 支持更好的点查,我们复用了写时的 HBase 索引。点查请求会先访问 HBase 索引找到数据所在文件,然后...
本接口支持通过指定查询维度,来获取客户端状态监控的加载耗时时序数据。 说明 单次查询的时间跨度不能超过 90 天。 注意事项请求频率:API 整体的请求频率限制为 100 次/秒。 单用户请求频率限制为 50 次/秒。 数据延迟:约为 15 分钟。 服务地址:veImageX 在全球多个区域部署,每个区域有自己对应的 OpenAPI 域名,不支持跨区域调用。具体详情请查看服务地址。 请求说明请求方式:POST 请求地址:https://imagex.volcengineapi.com/...
本接口支持通过指定查询维度,来获取客户端状态监控的处理降级成功率时序数据。 说明 单次查询的时间跨度不能超过 90 天。 注意事项请求频率:API 整体的请求频率限制为 100 次/秒。 单用户请求频率限制为 50 次/秒。 数据延迟:约为 15 分钟。 服务地址:veImageX 在全球多个区域部署,每个区域有自己对应的 OpenAPI 域名,不支持跨区域调用。具体详情请查看服务地址。 请求说明请求方式:POST 请求地址:https://imagex.volcengineap...
HBase、MongoDB 和 InfluxDB。此外自研的平台上提供了 ByteGraph 和 ABase,这两者和字节跳动的业务息息相关,也是内部业务重度依赖的两大产品。## 字节跳动 NoSQL 的最新实践字节跳动的大部分业务数据可归纳为以... 为了满足内部 social graph 在线增删改查的场景,字节跳动自研了分布式图存储数据库 ByteGraph。针对刚才提到的图状数据结构,ByteGraph 支持有向属性的图数据模型、Gremlin 查询语言以及丰富的写入和查询接口,具有海...
调用本接口查询指定调度实例下所有静态调度策略的配置列表。 使用说明每个请求中必须包含鉴权信息。该鉴权信息用以验证请求者的身份。参见签名机制。 使用限制节流限制:您每秒最多可以提交 10 个 API 请求。 请求说明请求方式:POST 请求地址:https://open.volcengineapi.com/?Action=DescribeDnsScheduleStaticWeights&Version=2022-03-01 请求参数Query参数名称数据类型是否必选参数说明ActionString是接口名称。当前 API 的名称...