消息队列topic模式
社区干货
消息队列选型之 Kafka vs RabbitMQ
首先消息队列支持异步通信,发送方可以快速将消息放入队列中并立即返回,而不需要等待接收方的响应。这种异步通信模式可以减少请求等待,能让服务异步并行处理,提高系统的吞吐量和响应时间。上图以支付会员红包系统... * **主题(Topic)** :是一类消息的集合。* **分区(Partition)** :每个主题被分成多个分区,每个 Partition 在存储层面是 Append Log 文件。* **偏移量(Offset):** 消息在分区中的位置称为偏移量,它唯一标记分区内的...
一文了解字节跳动消息队列演进之路
多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运... 每个集群里面可以拥有多个主题(Topic)。用户可以将所有逻辑上相关的数据放到同一个 Topic 中。由于 Topic 可能会有大量的数据,所以可以通过分区(Partition)去切分数据。每一条写入 Kafka 的消息都有一个唯一标识,也...
Apache Pulsar 在火山引擎 EMR 的集成与场景
消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案。与此同时,Apache Pulsar 的一个十分重要的特性也是云原生。先进的存算分离的架构使其非常适合在云化的环境中部署、运维,而 Topic 数据...
Apache Pulsar 在火山引擎 EMR 的集成与场景
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** 近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场... 而 Topic 数据的存储方式也使其扩容操作大为简化,不需要数据的 rebalance 过程。于是,将 Pulsar 集成到火山引擎 EMR 的生态系统中便是一件水到渠成且极具价值的事情。 **本文介绍火山引擎 EMR 中 Apache Pul...
特惠活动
消息队列topic模式-优选内容
消息队列topic模式-相关内容
创建 Topic
本文介绍创建 Topic 的操作步骤。 背景信息在RocketMQ 实例中,Topic 是消息发送与接收的基本单元,消息队列 RocketMQ版通过 Topic 对各类消息进行分类管理。消息的生产者将消息发送到 RocketMQ Topic 中,而消息的消费者则通过订阅该 RocketMQ Topic 来消费消息。 说明 每个实例的 Topic 数量配额与实例规格有关,各个规格实例可创建的 Topic 数量请参考产品规格。 前提条件已创建 RocketMQ 实例,且实例状态为运行中,详细操作步骤...
新功能发布记录
本文介绍了消息队列 Kafka版各特性版本的功能发布动态和文档变更动态。 2024年3月功能名称 功能描述 发布地域 相关文档 Topic 支持标签 支持为 Topic 添加标签,您可以将 Topic 通过标签进行归类,有利于识别和管理 Topic。 全部地域 创建 Topic 管理 Topic 标签 Topic 消息清理策略 支持为 Topic 配置消息清理策略。 DELETE:默认的消息清理策略。在磁盘容量不足时,将提前删除旧消息,以保证服务可用性。 COMPACT:针对每个...
管理 Topic 标签
标签用于云资源的标识与分类。消息队列 Kafka版支持为 Topic 添加标签,您可以将 Topic 通过标签进行归类,有利于识别和管理 Topic。 标签设置规则标签的设置规则如下: 限制项 说明 标签键 支持任何语言字母或文字(如中文、英文字母等)、数字、空格;支持特殊字符:_.:/=+-@。 volc: 为系统预留的标签键,添加标签时,标签键的开头不能设置为任何大小写形式的 volc:。 标签键的长度需为 1~128 个字符。 标签值 支持任何语言字母或...
设置 Topic 密钥权限
消息队列 RocketMQ版的 ACL 权限管理功能支持不同逻辑维度的策略权限,默认对实例中所有的 Topic 生效;也可以从 Topic 角度设置 Topic 的自定义密钥权限,仅对当前 Topic 生效。本文介绍为 Topic 设置自定义密钥权限的操作步骤。 前提条件已创建密钥。详细操作请参考创建密钥。 已创建 Topic。详细操作请参考创建 Topic。 背景信息消息队列 RocketMQ版支持 ACL 权限控制,通过密钥实现 Topic 资源级别的访问控制。密钥具备默认权限...
修改 Topic 配置
创建 Topic 之后,您可以根据业务流量随时调整分区数量等 Topic 配置信息,及时扩展 Topic 承载业务流量的能力。 前提条件已创建消息队列 Kafka版实例和 Topic。详细步骤请参考创建实例和创建 Topic。 注意事项分区数量只能调大,不能调小,修改时请合理规划分区数量。 不支持修改 Topic 名称。 操作步骤登录消息队列 Kafka版控制台。 在顶部菜单栏中选择地域,并在左侧导航栏中单击实例列表。 找到目标实例,单击实例名称。 在页签...
准备工作
本文将向您介绍如何从随机数据源获取数据,进行加工计算,然后写入到 Kafka 消息队列。 1 新建Kafka数据源登录消息队列 Kafka 版控制台。 新建一个 Kafka Topic,具体操作请参见创建Topic。 获取 Kafka 的 bootstr... 选择 Yarn 队列信息。 从访问模式下拉列表中选择快捷模式,即项目下所有 EMR 任务,使用超级账号实现 EMR 资源鉴权和使用。
RocketMQ 生产者使用建议
本文档介绍 RocketMQ 生产者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息 Tag建议组合使用 Topic 和 tags,以减少 Topic 的使用。 Tag 可以... 可根据实际情况来选择是否打印消息体,如果消息内容比较重要,在消息发送失败时推荐打印消息体。 说明 对于发送结果为 SEND_OK 的消息,可以不打印消息日志,以免造成日志过多,浪费存储资源。 消息发送模式目前消息队...
导出 Topic 列表
在实例备份、镜像实例等场景下,需要快速获取多个 Topic 的配置信息,以便在新实例中批量创建 Topic。本文档介绍导出 Topic 列表的操作步骤。 操作步骤登录消息队列 RocketMQ版控制台。 在顶部菜单栏中选择地域,并在左侧导航栏中单击实例列表。 找到目标实例,单击实例名称。 在页签栏中单击Topic管理。 在页面右上角单击下载按钮。浏览器将自动下载 Topic 的配置列表到本地。 查看下载文件。Topic 的配置列表为 csv 格式,其中包括此...
导出 Topic 列表
在实例备份、镜像实例等场景下,需要快速获取多个 Topic 的配置信息,以便在新实例中批量创建 Topic。本文档介绍导出 Topic 列表的操作步骤。 操作步骤登录消息队列 Kafka版控制台。 在顶部菜单栏中选择地域,并在左侧导航栏中单击实例列表。 找到目标实例,单击实例名称。 在页签栏中单击Topic管理。 在页面右上角单击下载按钮。浏览器将自动下载 Topic 的配置列表到本地。 查看下载文件。Topic 的配置列表为 csv 格式,其中包括此实...
