您可以通过每个主题的配置设置来定义 Kafka 应该保留您的事件多长时间,之后旧事件将被丢弃。Kafka 的性能在数据大小方面实际上是恒定的,因此长时间存储数据是完全没问题的。主题是**分区的**,这意味着一个主题分... 则按照指定的方式来分配副本。 val newTopic = if (topic.hasReplicaAssignment) new NewTopic(topic.name, asJavaReplicaReassignment(topic.replicaAssignment.get)) else { ...
还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地进行调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本... 重启时间一次,要重新调度一次上千个容器,然后要去拉上千个容器的镜像,对线上效果的影响将会被无限放大,数据就相当于不实时了。在此背景下,云原生计算团队修改了 Flink DAG 的 Failover 实现,使得在特定的 Topology...
内置支持了 Kafka 的端到端保证,并提供了 TwoPhaseCommitSinkFunction 供用于实现自定义外部存储的端到端 exactly-once 保证。)- state有状态计算:支持大状态、灵活的状态后端- Flink 还实现了 watermark 的机制,解决了基于事件时间处理时的数据乱序和数据迟到的问题。- Window:提供了一套开箱即用的窗口操作,如滚动窗口、滑动窗口、会话窗口,支持非常灵活的自定义窗口满足特殊业务需求。- 带反压的流模型Flink是采...
> 目前,字节跳动数据质量平台对于批处理数据的质量管理能力已经十分丰富,提供了包括表行数、空值、异常值、重复值、异常指标等多种模板的数据质量监控能力,也提供了基于spark的自定义监控能力。另外,该平台还提供了... 没有流式数据源(如kafka)的质量监控能力。但其实流式数据与batch数据一样,也有着数据量、空值、异常值、异常指标等类型的数据质量监控需求,另外因流式数据的特殊性,还存在着数据延迟、短时间内的指标波动等特有的监...
本文介绍标签的功能概念、使用说明及使用限制。 功能概述随着云上资源数量的不断增长,管理难度也随之增加。通过火山引擎提供标签管理功能,用于从各种维度对云服务资源进行自定义标识与分类化管理,例如通过标签将不同业务类别、用途或使用对象的云资源进行分类管理,为资源绑定标签后,可快速通过标签查询并筛选出指定类别的云资源。消息队列 Kafka版支持为实例添加标签,即支持实例维度的标签管理。一个标签为一个键值对(Key-Value)...
同时也支持自定义分隔符的方式指定。 *周期起始位点 任务周期运行时,每次读取 kafka 的开始位点,可通过指定时间、指定时间戳、指定位点、分区起始位点四种方式来指定周期读取的起始位点。消费开始时间字符串,支持... 更多时间变量参数详见平台时间变量与常量说明。 指定时间戳:可通过右侧的时间日历窗口,选择具体的时间后,平台将会自动转换为具体的时间戳,以时间戳方式来指定起始位点。 指定位点值:可直接输入 Kafka 消费的位点值...
日志服务支持 Kafka 数据导入功能,本文档介绍从 Kafka 中导入数据到日志服务的操作步骤。 背景信息日志服务数据导入功能支持将 Kafka 集群的消息数据导入到指定日志主题。Kafka 数据导入功能通常用于业务上云数据迁... 此时需要指定失败日志键名称,用于存放解析失败的日志。 关闭:解析失败的日志不上传到日志服务。 失败日志键名称 用于存放解析失败的日志的字段。 指定时间字段 是否使用指定字段的值作为日志时间。默认情况下,...
Topic(消息主题)是同一种类型消息的集合,是消息队列 Kafka版中数据写入操作的基本单元。本文档介绍创建单个 Topic 的操作步骤。 背景信息在实际业务场景中,一个 Topic 常被用作承载同一种业务流量,由开发者根据自身... 指定实例内 SASL 用户对该 Topic 的操作权限。默认为全部允许,即全部 SASL 用户对于此 Topic 都具备读写权限,即使该用户关闭了 All Permitted 权限。您也可以选择自定义设置,为不同 SASL 用户分别指定权限类型。自...
如果需要通过公网访问消息队列 Kafka版实例,请先申请同地域的 EIP,建议绑定的 EIP 带宽上限大于预估的公网业务流量峰值。详细操作步骤请参考申请公网 IP。 注意事项默认情况下,您可以在每个地域中创建 8 个 Kafk... 实例描述 Kafka 实例的简单描述。长度范围为 1~128 个字符。 填写 Kafka 实例的规格配置。 参数 说明 部署方案 实例在当前地域的部署方式。支持设置为: 单可用区部署:在当前地域下的指定可用区创建 Kafka...
消息队列 Kafka版支持通过控制台创建 Group,或通过消费 SDK 解析获取并展示 Group 的信息。关闭自由使用 Group 功能后,只能通过控制台创建 Group。本文档展示创建 Group 的方式及操作步骤。 背景信息消费组(Consum... 输入标签键和标签值,为 Group 添加自定义标签。标签用于云资源的标识与分类,添加标签有利于识别和管理 Group。每次支持添加 20 个标签,标签设置规则请参见标签设置规则。 单击确定。 通过 SDK 设置 Group开启自...
1. 功能概述 系统提供实时规则引擎能力,用户可以实时监测标签、行为和分群的变化的数据,根据用户设定的筛选条件,借助实时规则引擎将符合条件的结果以kafka消息形式(行为表数据格式)形成信号自动推送给下游系统。主... 即发信号 前后值变化:一段时间内,先进入分群又离开分群,即发信号 注意 当前单个信号仅包含单个实时规则,为多条数据值进行计算时、可监听流式数据最大时间窗口为1440分钟。 若选择通过 实时行为 配置规则:单个...
操作说明 2.1 新建Kafka数据连接点击 数据融合 > 数据连接 。 在数据连接目录左上角,点击 新建数据连接 按钮,在跳转的页面选择 Kafka 。 填写所需的基本信息,并进行 测试连接 。 连接成功后点击 保存 即可。 2.2 新建实时数据集说明 在新建实时数据集前,请先明确后续需要使用实时明细表还是实时行为表,两者对数据格式的要求略有不同。 实时明细表对于实时明细数据源,目前仅需要提供id字段、时间分区字段(建议再提供一个时...
使用说明此接口用于查看指定实例的 Topic 列表,也可以用于查看某个 Topic 的基础信息。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 是 kafka-cnngbnntswg1**** 实例 ID。 PageNumb... 设置此参数表示根据指定的副本个数筛选 Topic 列表。 TagFilters Array of TagFilterObject 否 [{"Key":"keyA","Value":"valueA"}] 用于筛选 Topic 的标签。 标签键(Key)必填,标签值(Value)选填。标签值为空,...