You need to enable JavaScript to run this app.
导航

Topic 管理

最近更新时间2023.12.19 19:31:49

首次发布时间2023.06.25 17:19:40

1. 概述

Topic用于DataSail的采集任务和数据订阅功能之间的数据传输和存储。本文介绍如何在Datasail控制台上创建、删除、更新和查询Topic。

2. 前提概要

需进行采集任务配置,才能上报数据至对应的Topic,Topic数据支持SDK订阅,详情可参数据订阅

3.功能介绍

3.1 新建Topic

  1. 登录 DataSail 控制台,进入数据采集-Topic管理页面

  2. 点击新建Topic打开新建抽屉,填写Topic名称、Topic描述、分区个数、生命周期、关联Schema,点击确定新建成功。

参数名含义默认值

Topic名称

待创建的 Topic 名称。须符合以下命名规范:

  • 长度为5~32个字符

  • 只允许出现小写字母、数字、下划线

无默认,必填

Topic描述Topic 的描述信息。长度不超过 128 个字符无默认,非必填

采集类型

  • 日志采集:非数据库类型采集,如埋点/log/文本/json等日志采集

  • 数据库采集:数据库类型采集,如RDS类数据采集

默认日志采集,必填

分区个数

Topic 分区数。取值范围为 1~100。

  • Topic创建后分区个数只能增加不能减少,请仔细确认填写

  • 分区个数为资源组中的计费项,请适量创建

默认为1,必填

生命周期消息被保留的时间,取值范围为 1~7,参数单位为天。默认为 1天。默认为1,必填

关联Schema

定义该Topic的格式要求。

  • 关联Schema代表您希望按照某种特定格式进行数据上报和数据管理,通常应用场景为埋点管控、埋点验证等;如不关联Schema,则表示该Topic不限制Schema,可采集任意格式的上报数据,也无需根据Schema进行数据管控。

  • 关联Schema可先前往Schema管理进行自定义,再下拉选择该Topic关联的Schema。一旦绑定不支持变更,请谨慎选择。

无默认,非必填




3.2 检索Topic

  1. 登录 DataSail 控制台

  2. 进入数据采集-Topic管理页面

  3. 输入Topic名称/描述检索Topic

3.3 修改Topic

  1. 进入数据采集-Topic管理列表页

  2. 选择要修改的Topic行,点击编辑,仅运行中的Topic支持编辑

  3. 打开修改弹窗

  4. Topic描述、分区个数和生命周期支持修改,但Topic创建后分区个数只能增加不能减少,且分区个数为资源组中的计费项,请适量创建



3.4 删除Topic

仅支持无关联采集任务的Topic删除。
如待删除的Topic已关联了采集任务,可先前往采集管理,编辑采集任务并切换关联成其他Topic,再进行Topic删除。

3.5 恢复Topic

已删除的Topic支持恢复,恢复后将会申请新Topic,原Topic中数据不会保留,请谨慎删除Topic。

3.6 Topic详情

3.6.1 数据上报

数据上报中,可以查看数据上报情况。

  • 通用采集_写消息数量:写消息数量(百万条)

  • 通用采集_写消息流量:写消息流量(GB)

  • 通用采集_存储量:存储量(GB)

  • 通用采集_分区数:分区数(个)

3.6.2 数据预览

数据预览中,可以获取最近10秒、30秒、1分钟、2分钟、3分钟、5分钟的上报数据详情。

3.6.3 关联采集任务

关联采集任务中,可以查看该Topic关联的所有采集任务。

3.6.4 云监控

云监控中,可以查看采集与消费的数据监控。

  • 消息生产速率:Topic每秒钟生产的数据流量

  • 消息消费速率:Topic每秒钟消费的数据流量

  • 消息生产条数:统计 Topic 生产消息的总条数

  • 消息消费次数(Count/s):统计 Topic 消费请求次数,包含副本同步的请求

  • Topic数据大小(B):统计 Topic 的数据大小,包含所有副本数据

  • Topic消息堆积量:指定消费组订阅的每个Topic中未消费的消息数


点击创建告警策略,可支持用户自定义配置监控告警,详见云监控创建告警