查看消息队列的内容
社区干货
消息队列选型之 Kafka vs RabbitMQ
在面对众多的消息队列时,我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka 和 RabbitMQ 比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分... 同时有兜底 Task 查询转账所有未到终态领取单并通过 MQ 异步发送转账消息。 **解耦**其次通过使用消息队列,发送方和接收方可以解耦,彼此之间不直接通信。发送方只需将消息发送到队列中,而不需要关...
字节跳动新一代云原生消息队列实践
[**回顾:一文了解字节跳动消息队列演进之路**](https://developer.volcengine.com/articles/7325343303150272539)# 云原生消息引擎 BMQ 架构从整体来看,BMQ 与 Ka...
字节跳动新一代云原生消息队列实践
字节跳动消息队列研发工程师-雷丽媛在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云... 从整体来看,BMQ 与 Kafka 架构最大的不同在于 BMQ 是 **存算分离的架构**,相较于 Kafka 将数据存储在本地磁盘,BMQ 将数据存储在了分布式的存储系统。在 BMQ 内部,主要有四个模块:Proxy,Broker,Coordinator 和 Co...
字节跳动基于数据湖技术的近实时场景实践
通过在数据内容层面提前感知问题,有助于问题的快速定位和解决,保障数据产出的SLA。在实践中,如果仅仅监控计算组件:比如监控 Flink、Spark 等组件metrics 、Kafka 的lag、数据库性能,并不能有效的保障数据产品的SLA。对于实时计算链路来说,由于兜底逻辑,或者源数据脏数据等原因,即使计算链路上的组件没有问题,最后呈现给用户的指标仍有可能不符合预期。为了更好的查询和分析中间结果,需要将消息队列和存储组件中的的数据落盘,以往...
特惠活动
查看消息队列的内容-优选内容
查看消息队列的内容-相关内容
消息查询
成功接入消息队列 Kafka版之后,如果遇到消息消费异常,可以通过消息查询功能查看服务端的详细消息内容,确认服务端的消息详情是否与生产端或消费端完全一致,排查消息生产或消费问题。 背景信息消息队列 Kafka版提供以下方式查询消息详情。 按位点查询。查询指定 Topic 中、指定分区、指定位点对应的消息,适用于消息发送至的分区 ID 及消息位点非常明确的场景。 按时间查询。查询指定 Topic、指定分区或所有分区在指定时间范围内的消...
查看监控数据
消息队列 RocketMQ版已接入云监控,实例日常运行过程中,您可以在消息队列 RocketMQ版控制台或云监控控制台直接查看各项监控指标,实时分析实例的运行状态。本文档为您展示消息队列 RocketMQ版监控数据的查看方式与主... 1:错误 0:停止 1:运行 BackupTaskReadRate 备份任务读速率 Count/s 每个数据备份任务从备份数据源读取消息的速度。 BackupTaskWriteRate 备份任务写速率 Count/s 每个数据备份任务发送消息到备份目的端的...
查看 Topic 消费信息
消息队列 RocketMQ版会记录并在控制台展示消费的相关信息,例如队列信息和消费组信息。 操作入口登录消息队列 RocketMQ版控制台。 在顶部菜单栏中选择地域。 在实例列表中找到指定 RocketMQ 实例,并单击实例名称。 在Topic管理页面单击指定 Topic 名称。除 Topic 基本信息外,页面中以页签形式展示该 Topic 的队列信息、订阅此 Topic 的消费组信息和 Topic 的密钥权限。 分别单击页签名称,查看队列信息、消费组信息和密钥权限页签。...
查看迁移进度和结果
业务迁移过程中,确认旧集群的消息已被消费完毕之后,才能下线旧的集群。您可以参考本文档判断迁移的进度和迁移结果。 通过云监控查看消息队列 Kafka版已接入云监控,您可以在云监控控制台直接查看生产和消费流量相关的监控指标,实时分析实例的运行状态。 登录云监控控制台。 在左侧导航栏中单击云产品监控,并在中间件区域中选择消息队列 Kafka版。 单击实例名称,进入该实例的监控数据页面。指定时间范围之后,您可以通过以下指标判...
使用 rabbitmq_tracing 插件
消息队列 RabbitMQ版支持 rabbitmq_tracing 插件,追踪流入流出 RabbitMQ 的消息,并保存记录消息的日志文件,用于问题排查、功能调试等场景。 背景信息在消息中间件的使用场景中,往往会出现消息异常丢失的现象,例如消... 消息队列 RabbitMQ版通过 rabbitmq_tracing 插件提供消息追踪功能,开启插件并添加 Trace 后,后台会自动创建一个 Exchange,每个队列会自动绑定该 Exchange,绑定后发送到这些队列的消息都会记录到 Trace 日志。查看 ...
运维任务
根据日志中的错误信息排查启动问题。 3 排查运行时问题任务进入运行中状态后,可通过以下操作排查任务运行时的问题: 单击列表中该任务操作列的 日志 > 执行日志,进入执行日志页面。 设置搜索条件,单击开始搜索按钮,可以查看符合条件的任务运行时日志,并根据日志内容排查任务运行时是否出现异常。 4 验证数据结果流式任务开始运行后,您便可通过查看 print 日志或 Kafka 消息队列,来校验数据结果是否符合预期。您可根据需要,...
消息生产与消费
消息队列 Kafka版提供以下消息生产与消费相关的常见问题供您参考。 FAQ 列表Kafka 实例是否支持延迟消息? 如何查看正在消费消息的 IP 地址? 如何确定消息是否发送成功? Producer 建立的 Broker 连接数量是多少? Kafka 实例是否支持延迟消息?火山引擎消息队列 Kafka版暂不支持延迟消息。 如何查看正在消费消息的 IP 地址?您可以参考以下步骤查看消费中的客户端 IP 地址: 登录消息队列 Kafka版控制台。 在顶部菜单栏中选择地域,并在...
查看后台任务
消息队列 RocketMQ 版提供后台任务管理功能,将会记录一些重要的、非即时的实例操作,比如变更实例规格、启用公网访问、导入 Topic 等操作。您在后台任务管理中可以查看任务类型、任务状态、任务详情等信息。 查看任务登录消息队列 RocketMQ版控制台。 在顶部菜单栏中选择地域,并在选择左侧导航栏中单击实例列表。 找到目标实例,单击实例名称。 在后台任务管理页签下,可以查看当前实例的所有后台任务情况。 筛选任务。根据任务时间...
新功能发布记录
只要消息满足任一条清理策略时,都将被清除。 全部地域 创建 Topic Topic 存储用量 支持展示 Topic 已使用的实例总存储空间大小,以及百分数占比。 全部地域 查看 Topic 详情 Group 支持标签 支持为 Group 添加标签,您可以将 Group 通过标签进行归类,有利于识别和管理 Group。 全部地域 创建 Group 管理 Group 标签 接入 Filebeat 提供最佳实践文档,介绍在 Filebeat 中接入消息队列 Kafka版的详细配置步骤。 全部地域...
