分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有 `RabbitMQ、RochetMQ、ActiveMQ、Kafka`等,有人会问:“Redis 适合做消息队列么... RPOP` 存在一个性能风险,生产者向队列插入数据的时候,List 并不会主动通知消费者及时消费。我们需要写一个 `while(true)` 不停地调用 `RPOP` 指令,当有新消息就会返回消息,否则返回空。程序需要不断轮询并判断...
字节跳动的消息队列平台支持弹性扩缩容、高吞吐、低延迟等特性,已经可以稳定承载每秒数十 T bytes 的流量。受限于篇幅,本系列文章将分为上下篇。 **本文将主要从字节消息队列的演进过程及在过程中遇到的痛点问题,... 每个集群里面可以拥有多个主题(Topic)。用户可以将所有逻辑上相关的数据放到同一个 Topic 中。由于 Topic 可能会有大量的数据,所以可以通过分区(Partition)去切分数据。每一条写入 Kafka 的消息都有一个唯一标识,也...
消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开... 集群的状态包括用户的 HDFS 中的数据(属于用户的核心数据资产)、Hive Metastore 中的元数据、Ranger 中的权限配置、各个服务的日志、历史作业执行统计信息、集群的配置信息等等。这些状态信息都是存储在用户集群内...
消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原... 集群的状态包括用户的 HDFS 中的数据(属于用户的核心数据资产)、Hive Metastore 中的元数据、Ranger 中的权限配置、各个服务的日志、历史作业执行统计信息、集群的配置信息等等。这些状态信息都是存储在用户集群内...
消息队列 Kafka版对一些指标和性能进行了限制,请您在使用过程中注意不要超过相应的限制值,避免出现异常。 限制类型 限额 说明 实例数量 8 个 单个地域(Region)内的消息队列 Kafka版实例数。您也可以通过配额中... 所有消息队列 Kafka版实例的存储容量总和。您也可以通过配额中心申请提高每个地域下的实例存储容量总和上限(StorageSum),最高可调整至 150TiB。 计算规格业务读/写流量峰值之和 3000MB/s 单个地域(Region)内,所...
消息队列 Kafka版兼容开源Kafka的 ACL 权限策略,可以为 SASL 用户设置 All Permitted 权限,或指定 SASL 用户对于某些 Topic 或 Group 的自定义权限,实现资源和用户的权限隔离。 背景信息在 Apache Kafka 中,ACL(Ac... 即对实例内所有 Topic 和 Group 均具备读写权限。如果您需要更细粒度的权限策略,可以创建一个 SASL 用户,并通过 ACL 管理功能创建一条 ACL,指定此 SASL 用户对指定资源的权限策略。 说明 消息队列 Kafka版的 ACL 的...
消息队列 Kafka版提供多种实例规格供您选择,你可以根据业务的读写流量峰值、所需的存储空间大小和分区数量估算计算规格与存储规格。 读写流量:购买时选择网卡读流量峰值和网卡写流量峰值中的较大值进行评估。 建议... 您可以在 Kafka 实例的实例详情页签中基本信息区域找到可用区一行,查看可用区数量。如果可用区数量大于 1,表示该实例为多可用区部署的实例。 单 AZ 实例如何切换为多 AZ?创建实例后,不可修改实例的部署方式,即单可...
Topic(消息主题)是同一种类型消息的集合,是消息队列 Kafka版中数据写入操作的基本单元。本文档介绍创建单个 Topic 的操作步骤。 背景信息在实际业务场景中,一个 Topic 常被用作承载同一种业务流量,由开发者根据自身系统设计、数据架构设计来决定如何设计不同的 Topic。每个 Topic 可以有多个生产者向它发送消息,也可以有多个消费者去消费其中的消息。分区(Patition)是 Topic 在物理上的分组,每个 Topic 可以划分为多个分区,每个分...
消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开... 集群的状态包括用户的 HDFS 中的数据(属于用户的核心数据资产)、Hive Metastore 中的元数据、Ranger 中的权限配置、各个服务的日志、历史作业执行统计信息、集群的配置信息等等。这些状态信息都是存储在用户集群内...
消息队列 Kafka版已接入云监控,实例日常运行过程中,您可以在消息队列 Kafka版控制台或云监控控制台直接查看各项监控指标,实时分析实例的运行状态。本文档为您展示消息队列 Kafka版监控数据的查看方式与主要监控指标... TopicDataSizeTop10 Topic磁盘使用量Top10 Count 实例中,磁盘使用量 Top10 的 Topic。 MsgProductionRate 消息生产速率 Bytes/s 实例每秒钟写入的数据量。 MsgConsumptionRate 消息消费速率 Bytes/s ...
创建 Kafka 实例后,您可以根据业务需求修改实例或 Topic 级别的参数配置,例如最大消息大小、消息保留时长等。 背景信息消息队列 Kafka版在实例与 Topic 级别均提供了部分参数的在线可视化配置,指定不同场景下的各种... 登录消息队列 Kafka版控制台。 在顶部菜单栏中选择地域,并在选择左侧导航栏中单击实例列表。 在实例详情页签的参数配置区域单击修改。 填写新的参数配置,并单击确定。 参数 说明 最大消息大小 单条消息的最...
消息队列 RocketMQ版已接入云监控,实例日常运行过程中,您可以在消息队列 RocketMQ版控制台或云监控控制台直接查看各项监控指标,实时分析实例的运行状态。本文档为您展示消息队列 RocketMQ版监控数据的查看方式与主... MemUtil 内存使用率 % 统计实例各节点中内存使用率的最大值。 CapUtil 磁盘使用率 % 实例各节点中磁盘使用率的最大值。 InstanceSendFailedMsgNum 写入失败消息数 Count 统计周期内实例写入失败的消息...
支持哪些语言的客户端?火山引擎消息队列 RocketMQ版支持 TCP 协议的 Java、Go、Python 多语言客户端 SDK,并为您提供各种语言的代码示例以供参考,详细说明请参考 SDK 参考。 支持的消息体最大是多少?火山引擎消息队... 可能存在不同节点磁盘占用率差异较大的情况,导致磁盘使用率较低节点的存储空间未能有效利用。此时建议及时调整业务逻辑,均衡不同节点之间的数据写入量,避免写入倾斜。 支持的 RocketMQ 版本包括哪些?火山引擎消息...