消息队列环境搭建
社区干货
如何使用 SASL_SSL 公网连接消息队列Kafka版
# 问题描述开启公网连接后,如何使用 Python 正常连接到 Kafka 进行生产和消费。# 问题分析在公网环境下,消息队列 Kafka 版要求通过 SSL 证书对消息进行鉴权和加密,保障数据传输过程的安全性,防止数据在网络传输过程中被截取或者窃听,相较于普通公网访问方式具备更高的安全性。目前支持客户端对服务端证书的单向认证, 所以需要下载 SASL_SSL 证书 并指定 SASL_SSL 协议。# 解决方案Python 示例demo如下:```pythonfrom kaf...
Kafka数据同步
基于本地机器搭建。现实生产环境会更加复杂,如果您有迁移类的需求,欢迎咨询[技术支持服务](https://console.volcengine.com/ticket/createTicketV2/)。# 关于实验 [#](https://vsop-online.bytedance.net/doc/manage/detail/6627/detail/?DocumentID=173809#%E5%85%B3%E4%BA%8E%E5%AE%9E%E9%AA%8C)* 预计部署时间:40分钟* 级别:高级* 相关产品:消息队列Kafka* 受众: 通用## 环境说明 [#](https://vsop-online.bytedan...
Apache Pulsar 在火山引擎 EMR 的集成与场景
基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案。与此同时,Apache Pulsar 的一个十分重要的特性也是云原生。先进的存算分离的架构使其非常适合在云化的环境中部...
Apache Pulsar 在火山引擎 EMR 的集成与场景
消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案。与此同时,Apache Pulsar 的一个十分重要的特性也是云原生。先进的存算分离的架构使其非常适合在云化的环境中部署、运维,而 Topi...
特惠活动
消息队列环境搭建-优选内容
消息队列环境搭建-相关内容
Kafka 迁移上云(方案一)
1 环境准备迁移之前,您需要根据业务量合理评估资源需求,并创建 Kafka 实例及相关的依赖资源。 1.1 迁移评估根据现有业务量和消息量估算所需的消息队列 Kafka版资源,例如业务读写流量峰值、磁盘容量和分区数等。不同规格的 Kafka 实例代表不同的计算能力及存储空间,请根据业务量合理评估资源需求。 1.2 准备相关资源确认资源需求之后,还需要准备相关资源,例如私有网络和子网、ECS 云服务器和 Kafka 实例。 搭建环境。您需要创建私...
RabbitMQ 迁移上云(方案二)
1 环境准备迁移之前,您需要根据业务量合理评估资源需求,并创建 RabbitMQ 实例及相关的依赖资源。 1.1 迁移评估根据现有业务量和消息量估算所需的消息队列 RabbitMQ版资源,例如 TPS 峰值、建议队列数和最大连接数等。不同规格的 RabbitMQ 实例代表不同的计算能力及存储空间,请根据业务量合理评估资源需求。 1.2 准备相关资源确认资源需求之后,还需要准备相关资源,例如私有网络和子网、ECS 云服务器和 RabbitMQ 实例。 搭建环境。...
消息队列 RocketMQ版生成消息轨迹
前言 在本教程中,您将学习如何使用JAVA开源SDK在火山消息队列 RocketMQ版上生成消息轨迹。 关于实验 预计部署时间:30分钟级别:初级相关产品:消息队列 RocketMQ版 云服务器受众: 通用 环境说明 如果还没有火山引擎账... import org.apache.rocketmq.client.consumer.rebalance.AllocateMessageQueueAveragely;import org.apache.rocketmq.client.exception.MQClientException;import org.apache.rocketmq.common.consumer.ConsumeFro...
准备环境
本文介绍快速上手消息队列 Kafka版的准备工作。 1 准备账号开通服务之前,您需要注册一个火山引擎账号,并完成企业实名认证。对于计费类型为按量计费类型的 Kafka 实例,需要保证账户余额不低于100元才能正常创建和使用。 创建火山引擎账号。详细操作请参考注册账号。 完成企业认证。详细操作请参考企业认证。 2 创建私有网络和子网Kafka 实例默认开通私有网络(VPC)访问,VPC 为实例提供网络隔离的虚拟网络环境,只有在 VPC 中才能访问...
查看接入点
支持的网络类型消息队列 Kafka版实例提供专有网络 VPC 和公网访问两种接入方式。 网络类型 说明 专有网络 VPC(私网) 专有网络 VPC 为 Kafka 实例构建隔离的、自主配置和管理的虚拟网络环境,消息可以采用 PLAINTEXT 协议在安全的网络通道不加密传输。通过 VPC 方式访问实例时,您需要在同一地域下的火山引擎云服务器 ECS 搭建开发环境,部署客户端,或通过云企业网等方式将不同地域下的 ECS 打通,实现网络互通。在 VPC 网络下,消...
步骤一:准备环境
火山引擎消息队列 RabbitMQ版完全兼容开源 RabbitMQ,业务无需改动即可快速迁移上云,为您节省维护和使用成本。 1 准备账号开通服务之前,您需要注册一个火山引擎账号,并完成企业实名认证。对于计费类型为“按量计费”... VPC 为实例提供网络隔离的虚拟网络环境,只有在 VPC 中才能访问 RabbitMQ 实例。在创建 RabbitMQ 实例前,请确保目标地域下有可用的 VPC 和子网,如何创建,请参考创建私有网络和创建子网。 说明 创建 VPC 时,请注意: ...
创建实例
应用接入消息队列 RabbitMQ版之前,需要在控制台创建 RabbitMQ 实例。消息队列 RabbitMQ 版提供多种实例规格,对应不同的计算能力和存储空间,您可以根据实际业务需求选择不同的实例规格。本文档介绍创建 RabbitMQ 实... 自主配置和管理的虚拟网络环境。若当前账号下没有可用的私有网络,请根据页面提示创建一个新的私有网络。详细步骤请参考创建私有网络。 说明 实例创建完成后,不可修改对应的私有网络和子网。创建实例时请谨慎操作。...
数据安全
本文档介绍消息队列 RabbitMQ版提供的数据安全能力,及某些场景下的数据可靠性风险。 数据可靠性火山引擎消息队列 RabbitMQ版提供多种部署策略与安全能力,全方位保护用户数据安全性与可用性。 多可用区部署。消息队... 可选择设置实例镜像队列,创建队列的冗余副本,从而在发生网络或少数节点故障时,不影响服务可用性,保证生产数据一致性。单机版实例不具备配置镜像队列的能力,故可用性低于集群版。 未配置数据持久化 在生产环境中,...
默认接入点收发消息
本文以 Go 客户端为例,介绍如何在 VPC 环境下通过默认接入点(PLAINTEXT)接入消息队列 Kafka版,并收发消息。 前提条件已完成准备工作。详细说明请参考准备工作。 1 添加配置文件创建消息队列 Kafka版配置文件 config.json。配置文件字段的详细说明,请参考配置文件。使用默认接入点时,配置文件示例如下。 说明 请根据注释提示填写相关参数,并删除注释。 json { "bootstrap.servers": "xxxxx", // 修改配置为实例的默认接入点 "t...
