字节跳动消息队列研发工程师-雷丽媛在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云... **监控 Proxy 在访问其他组件时产生的错误**,进行一些 **自** **动的故障诊断**,并将 **故障节点自动隔离**,避免对用户产生影响。**分层架构的优势**![picture.image](https://p3-volc-community-si...
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队... 此外我们可以 **监控 Proxy 在访问其他组件时产生的错误** ,进行一些 **自动的故障诊断** ,并将 **故障节点自动隔离** ,避免对用户产生影响。## 分层架构的优势![picture.image](https://p6-...
本文相关产品:云原生消息引擎 BMQ https://www.volcengine.com/product/bmq随着“万物”互联网化的发展,许多公司内部服务间面对的数据流量也越来越大,在应对大量的数据通信需求时,多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运维成本等。目前经过技术优化...
将大数据体系外面的数据上报到消息队列后,消息队列作为一个沟通的纽带,消息会流向下游的数据仓库的各层存储中,进入大数据体系内部。 - 不光是埋点日志信息,用户的业务数据库的信息,也可以通过把数据库 binlog 上报到消息队列,由计算任务消费消息队列中的 binlog 并把数据写入下游表,实现业务数据库的数据向数仓的同步,在数仓中重建出业务库的副本。 - 此外,像监控、日志类型的数据也可以上报到消息队列,再通过消息队...
消息队列 Kafka版已接入云监控,除了日常监控查看各项监控指标之外,也可以基于监控项设置告警策略,实时监控重点指标的变化情况,及时感知实例运行风险,迅速排查并解决问题。 前提条件设置告警策略之前,请先根据实际业务情况合理评估各项指标的业务预期值,以便设置恰当的告警阈值。 操作步骤登录云监控控制台。 在左侧导航栏中单击云产品监控,并在中间件区域中选择消息队列 Kafka版。 单击实例名称,并在顶部页签栏中单击告警策略。...
消息队列 RocketMQ版已接入云监控,除了日常监控查看各项监控指标之外,也可以基于监控项设置告警策略,实时监控重点指标的变化情况,及时感知实例运行风险,迅速排查并解决问题。 前提条件设置告警策略之前,请先根据实际业务情况合理评估各项指标的业务预期值,以便设置恰当的告警阈值。 操作步骤登录云监控控制台。 在左侧导航栏中单击云产品监控,并在中间件区域中选择消息队列 RocketMQ版。 单击实例名称,并在顶部页签栏中单击告警策...
本文介绍了消息队列 RocketMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年3月功能名称 功能描述 发布地域 相关文档 云监控指标 增加实例维度的监控指标。 全部地域 查看监控数据 批量删除 Group 提供批量删除消费组的 API 接口(DeleteGroups)。 全部地域 DeleteGroups 2024年2月功能名称 功能描述 发布时间 发布地域 相关文档 云监控指标 增加实例、Topic 维度的监控指...
消息队列 RocketMQ版支持配置云监控告警规则,帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例,建议参考这些推荐的告警策略,配置监控指标的告警规则。 实例维度 实例总 TPS 达规格峰值85%告警规则配置告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。 配置 取值 维度 实例 触发条件 监控指标:实例生产消费总速率 持续周期:持续3个周期 取值方式:最大值 比较方式:> 阈值:根据实例...
消息队列 RabbitMQ版支持配置云监控告警规则,帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例,建议参考这些推荐的告警策略,配置监控指标的告警规则。 实例维度 实例磁盘使用率超过 85%告警规则配置告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。 配置 取值 维度 实例 触发条件 监控指标:磁盘使用率 持续周期:持续3个周期 取值方式:最大值 比较方式:> 阈值:85% 告警级别 通知...
消息队列 Kafka版支持配置云监控告警规则,帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例,建议参考这些推荐的告警策略,配置监控指标的告警规则。 实例维度 实例磁盘使用容量超过 85%告警规则配置告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。 配置 取值 维度 实例 触发条件 1 监控指标:容量使用率 持续周期:持续3个周期 取值方式:最大值 比较方式:> 阈值:85% 告警级别 通...
业务迁移过程中,确认旧集群的消息已被消费完毕之后,才能下线旧的集群。您可以参考本文档判断迁移的进度和迁移结果。 通过云监控查看消息队列 Kafka版已接入云监控,您可以在云监控控制台直接查看生产和消费流量相关的监控指标,实时分析实例的运行状态。 登录云监控控制台。 在左侧导航栏中单击云产品监控,并在中间件区域中选择消息队列 Kafka版。 单击实例名称,进入该实例的监控数据页面。指定时间范围之后,您可以通过以下指标判...
本文介绍了消息队列 RabbitMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年2月功能名称 功能描述 发布时间 发布地域 相关文档 插件重试 如果出现启用插件失败,支持在排... 2023-12-14 全部地域 开启插件 2023年11月功能名称 功能描述 发布时间 发布地域 相关文档 云监控指标 增加部分节点、 Vhost 维度监控指标,推荐设置对应的告警策略。 2023-11-19 全部地域 监控指标说...
介绍在 Filebeat 中接入消息队列 Kafka版的详细配置步骤。 全部地域 接入 Filebeat 监控数据-TopN 数据 以 Topic 为维度,展示流量和存储的 TopN 信息。 以 Group 为维度,展示消费组消息堆积的 TopN 信息。 全部地域 查看监控数据 2024年1月功能名称 功能描述 发布时间 发布地域 相关文档 新增实例规格 新增 kafka.800xrate.hw、kafka.1200xrate.hw 和 kafka.1500xrate.hw 共计 3 款实例规格。 2024-1-5 全部地域...