# 问题描述在开发和测试过程中,我们可能会遇到无法连接 Kafka 的情况,本文使用 kafka-console-consumer,来模拟几类常见的连接报错# 环境配置* 密码类型选择 Scram![图片](https://p9-arcosite.byteimg.com/t... Firewall blocking Kafka TLS traffic (eg it may only allow HTTPS traffic), (3) Transient network issue. (org.apache.kafka.clients.NetworkClient)```出现此报错,建议检查您的客户端 IP 是否在白名单中,...
# 问题描述客户想通过外网地址访问 VPC 内的 Kafka 地址进行程序调试,本文展示如果使用iptables转发请求实现外网访问。# 解决方案1.创建一台与 Kafka 同 VPC 的 ECS 服务器,放开安全组 9093 端口同时绑定公网 IP,具体操作参考 [[ECS使用说明]]((https://www.volcengine.com/docs/6396/67793))。2.在部署 Kafka 的机器添加本地解析和修改配置文件如下: * 添加域名解析 ```undefined# cat /etc/hosts127.0.0.1 lo...
# 问题描述客户想通过外网地址访问 VPC 内的 Kafka 地址进行程序调试,本文展示如果使用iptables转发请求实现外网访问。# 解决方案1.创建一台与 Kafka 同 VPC 的 ECS 服务器,放开安全组 9093 端口同时绑定公网 IP,具体操作参考 [[ECS使用说明]]((https://www.volcengine.com/docs/6396/67793))。2.在部署 Kafka 的机器添加本地解析和修改配置文件如下:* 添加域名解析```undefined# cat /etc/hosts127.0.0.1 localhost...
已购买开通私有网络服务2. 已购买开通火山引擎Kafka产品3. 消息队列Kafka已绑定公网IP(可参考:https://www.volcengine.com/docs/6439/107774)4. 本地Source Kafa状态正常# 实验说明 [#](https://vsop-onlin... 外网访问,需要添加SASL认证信息:```XMLsasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="替换用户名" password="替换密码";sasl.mechanism=PLAIN sec...
注意事项如果是首次创建 Kafka 实例,您需要先完成跨服务访问授权,建议通过火山引擎主账号操作。详细说明请参考跨服务访问。 如果需要通过私有网络访问消息队列 Kafka版实例,请先在相同地域创建 ECS 云服务器、私有网络和子网。创建实例后,不可更改实例所在的私有网络和子网。 如果需要通过公网访问消息队列 Kafka版实例,请先申请同地域的 EIP,详细操作步骤请参考申请公网 IP。 默认情况下,您可以在每个地域中创建 8 个 Kafka 实...
如果创建实例时未开启公网访问,请参考本文档设置。 背景信息开启公网访问后,消息队列 Kafka版为实例提供公网接入点,用于客户端通过公网访问 Kafka 实例。Kafka 实例公网接入点可选择数据链路是否经由 SSL 认证,目前支持客户端对服务端证书的单向认证,数据加密传输,相较于普通公网访问方式具备更高的安全性。 前提条件已成功创建 Kafka 实例,且实例状态为运行中。 开启公网访问前,请先创建相同地域的 EIP,建议绑定的 EIP 带宽上限...
当前支持 Kafka 2.2.x 和 0.10 版本。 *Kafka 集群地址 启动客户端连接Kafka服务时使用。填写格式为 ip:port 或 host:port 格式,存在多个时,可用逗号分隔。如localhost:2181,localhost:2182 *认证方式 支持 SASL_PLAINTEXT、SASL_SSL 认证方式,您也可选择 None 不认证。选择 SASL_PLAINTEXT、SASL_SSL 认证方式时,需确认 Sasl 机制,目前支持选择 PLAIN、SCRAM-SHA-256 认证机制。 *用户名 输入有权限访问 Kafka 集群环境的...
请求参数 无 响应参数 参数 类型 说明 AvailableVersions String 所有支持的Kafka版本列表。 ChargeTypes String 当前Kafka服务支持的计费方式。 - PostPaid:按需计费 - PrePaid:包年/包月 InstanceParams List 购买实例可配置的Kafka参数列表。详细信息请参考 。 InstanceSpec List 所有可购买的Kafka实例规格,详细信息请参考 。 NetType List> 所有支持的Kafka实例网络类型。 - Private:私有网络VPC访问。 - Internet:公网访...
首次使用消息队列 Kafka版之前,您需要进行跨服务授权,允许消息队列 Kafka版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 Kafka 实例之前需要进行跨服务访问授权,完成授权后 Kafka 可以持续访问其他服务中的资源,直至删除服务关联角色。 服务关联角色的权限由系统生成,无法变更权限。若您需要取消授权,请删除角色。 建议通过火山引擎主账号完成跨服务访问授权,否则 IAM...
并不会迁移 Kafka 旧集群上的消息数据。 创建Kafka实例、迁移消息收发链路之前,请先确定 Kafka 实例可正常访问,以免因访问异常造成迁移失败。您可以访问 Kafka 实例详情页中的接入点,确认实例的网络连通性。 业务迁... 不同规格的 Kafka 实例代表不同的计算能力及存储空间,请根据业务量合理评估资源需求。 1.2 准备相关资源确认资源需求之后,还需要准备相关资源,例如私有网络和子网、ECS 云服务器和 Kafka 实例。 搭建环境。您需要创...
并不会迁移 Kafka 旧集群上的消息数据。 创建 Kafka 实例、迁移消息收发链路之前,请先确定 Kafka 实例可正常访问,以免因访问异常造成迁移失败。您可以访问 Kafka 实例详情页中的接入点,确认实例的网络连通性。 业务... 不同规格的 Kafka 实例代表不同的计算能力及存储空间,请根据业务量合理评估资源需求。 1.2 准备相关资源确认资源需求之后,还需要准备相关资源,例如私有网络和子网、ECS云服务器和 Kafka 实例。 搭建环境。您需要创...
推荐在使用消息队列 Kafka版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息顺序性火山引擎 Kafka 实例的消息在同一分区中可以保证数据的先入先出。即写入同一分区的消息,若消息 A 先于消息 B 写入,那么在进行消息读取时,消息A也一定可以先于消息 B 被客户端读到。需要注意的是此处仅保证通过同一生产者先后发送的消息可以保证有序,不同生产者之间的消息因为无法确认到达服务端的先后顺序,所以无法保证...
也可以通过 Kafka 结果表将作业输出数据写入到 Kafka Topic 中。 注意事项使用 Flink SQL 的用户需要注意,不再支持 kafka-0.10 和 kafka-0.11 两个版本的连接器,请直接使用 kafka 连接器访问 Kafka 0.10 和 0.11 集... String 指定 Kafka 消费组的 ID。 注意 在 Flink 中使用 Kafka 连接器消费 BMQ 消息时,需要提前在 BMQ 平台侧创建 Consumer Group。如果没有提前创建 Group,任务可以正常运行,但不能正常提交 Offset。 proper...