kafka消息队列残留
社区干货
消息队列选型之 Kafka vs RabbitMQ
在面对众多的消息队列时,我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka 和 RabbitMQ 比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)是一种 FIFO(先进先出)的数据结构,编程语言一般都内置(内存...
字节跳动新一代云原生消息队列实践
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的 **云原生消息引擎 BMQ** ,在极速扩缩容及吞吐上都有非常好的表现。本文将继续从整体技术架构开始,介绍字节自研的云原生消息引擎的分层架构在数据存储模型、运维等角度的优势及挑战。[**...
如何使用 SASL_SSL 公网连接消息队列Kafka版
# 问题描述开启公网连接后,如何使用 Python 正常连接到 Kafka 进行生产和消费。# 问题分析在公网环境下,消息队列 Kafka 版要求通过 SSL 证书对消息进行鉴权和加密,保障数据传输过程的安全性,防止数据在网络传输过程中被截取或者窃听,相较于普通公网访问方式具备更高的安全性。目前支持客户端对服务端证书的单向认证, 所以需要下载 SASL_SSL 证书 并指定 SASL_SSL 协议。# 解决方案Python 示例demo如下:```pythonfrom kaf...
如何使用Scram类型密码连接消息队列Kafka
# 问题描述 客户在前端创建Scram类型密码,代码中无法连接到Kafka  # 问题分析 客户代码中协议及认证机制部分配置如下:  因为SASL_SSL协议并不支持SCRAM,需要更改为SASL_PLAINTEXT...
特惠活动
kafka消息队列残留-优选内容
kafka消息队列残留-相关内容
字节跳动新一代云原生消息队列实践
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的 **云原生消息引擎 BMQ** ,在极速扩缩容及吞吐上都有非常好的表现。本文将继续从整体技术架构开始,介绍字节自研的云原生消息引擎的分层架构在数据存储模型、运维等角度的优势及挑战。[**...
使用前必读
消息队列 Kafka版是一款火山引擎提供的消息中间件服务。Kafka 基于高可用分布式集群技术,提供了高可靠、可扩展、灵活路由的托管消息队列,泛应用于秒杀、流控、系统解耦等场景。 调用说明消息队列 Kafka版提供了全新版本 V2 OpenAPI,您可以通过发送 HTTPS 请求调用消息队列 Kafka版的 V2 API。调用 V2 API 时,您需要向火山引擎消息队列 Kafka版 API 的服务端地址发送 HTTPS 请求,并参考各个业务接口文档,在 HTTPS 请求中填入正确的...
重置消费位点
在清除堆积消息、离线数据处理等场景下,需要消费过去某个时段的消息,或清除所有堆积消息,可以对 offset 进行重置操作。消息队列 Kafka版控制台支持重置消费位点,改变订阅者当前的消费位置,您可以通过重置消费位点功能直接从某个指定时间点、最新 offset 位点或指定 offset 位点来消费消息。 背景信息消息队列 Kafka版支持重置 Group、Topic 或分区级别的消费位点,支持的重置方式包括以下三种。 根据最新 offset 位点重置:跳过所...
消息队列 Kafka版正式商用通知
2022年04月26日开始,消息队列 Kafka版产品开始收取服务费用。 生效时间2022年04月26日中午12点。 计费项与价格消息队列 Kafka版支持按量付费和包年包月的计费方式,计费项包括计算规格费用与存储规格费用,不同规格的实例定价不同。产品定价的详细信息,请参见计费项与价格。 收费说明消息队列 Kafka版在邀测期结束前已向您发出通知,以确定是否继续使用本产品和服务。 如果您在邀测期间创建了 Kafka 实例,且邀测期结束后未删除实例,...
消息生产与消费
消息队列 Kafka版提供以下消息生产与消费相关的常见问题供您参考。 FAQ 列表Kafka 实例是否支持延迟消息? 如何查看正在消费消息的 IP 地址? 如何确定消息是否发送成功? Producer 建立的 Broker 连接数量是多少? Kafka 实例是否支持延迟消息?火山引擎消息队列 Kafka版暂不支持延迟消息。 如何查看正在消费消息的 IP 地址?您可以参考以下步骤查看消费中的客户端 IP 地址: 登录消息队列 Kafka版控制台。 在顶部菜单栏中选择地域,并在...
实例管理
消息队列 Kafka版提供以下实例管理相关的常见问题供您参考。 FAQ 列表如何选择计算规格和存储规格 如何选择云盘 如何删除或退订实例 是否支持压缩消息? 是否支持多可用区部署 Kafka 实例? 单 AZ 实例如何切换为多 AZ? 变更实例规格或扩容实例会影响业务吗? 如何为实例增加分区? 是否可以删除分区? 为什么不能减少分区? 是否支持缩容? 公网环境必须使用 SASL_SSL 吗? 支持哪些语言的客户端? 支持的消息体最大是多少? 消息的保留时...
限制说明
消息队列 Kafka版对一些指标和性能进行了限制,请您在使用过程中注意不要超过相应的限制值,避免出现异常。 限制类型 限额 说明 实例数量 8 个 单个地域(Region)内的消息队列 Kafka版实例数。您也可以通过配额中心申请提高每个地域下的最大实例数量(InstanceNum),最高可调整至 16 个。 存储容量总和 90TiB 单个地域(Region)内,所有消息队列 Kafka版实例的存储容量总和。您也可以通过配额中心申请提高每个地域下的实例存储容...
API 概览
消息队列 Kafka版提供以下相关API 接口。 实例管理API 说明 ListKafkaConf 调用 ListKafkaConf 接口获取消息队列 Kafka版支持的相关配置。 CreateKafkaInstance 调用 CreateKafkaInstance 接口创建Kafka实例。 DeleteKafkaInstance 调用 DeleteKafkaInstance 接口删除Kafka实例。 DescribeInstanceDetail 调用 DescribeInstanceDetail 接口获取指定Kafka实例的详细信息。 DescribeInstancesSummary 调用 DescribeInstancesSumm...
如何使用 SASL_SSL 公网连接消息队列Kafka版
# 问题描述开启公网连接后,如何使用 Python 正常连接到 Kafka 进行生产和消费。# 问题分析在公网环境下,消息队列 Kafka 版要求通过 SSL 证书对消息进行鉴权和加密,保障数据传输过程的安全性,防止数据在网络传输过程中被截取或者窃听,相较于普通公网访问方式具备更高的安全性。目前支持客户端对服务端证书的单向认证, 所以需要下载 SASL_SSL 证书 并指定 SASL_SSL 协议。# 解决方案Python 示例demo如下:```pythonfrom kaf...
