# 问题描述在开发和测试过程中,我们可能会遇到无法连接 Kafka 的情况,本文使用 kafka-console-consumer,来模拟几类常见的连接报错# 环境配置* 密码类型选择 Scram![图片](https://p9-arcosite.byteimg.com/t... Firewall blocking Kafka TLS traffic (eg it may only allow HTTPS traffic), (3) Transient network issue. (org.apache.kafka.clients.NetworkClient)```出现此报错,建议检查您的客户端 IP 是否在白名单中,...
# 问题描述客户想通过外网地址访问 VPC 内的 Kafka 地址进行程序调试,本文展示如果使用iptables转发请求实现外网访问。# 解决方案1.创建一台与 Kafka 同 VPC 的 ECS 服务器,放开安全组 9093 端口同时绑定公网 IP,具体操作参考 [[ECS使用说明]]((https://www.volcengine.com/docs/6396/67793))。2.在部署 Kafka 的机器添加本地解析和修改配置文件如下: * 添加域名解析 ```undefined# cat /etc/hosts127.0.0.1 lo...
# 问题描述客户想通过外网地址访问 VPC 内的 Kafka 地址进行程序调试,本文展示如果使用iptables转发请求实现外网访问。# 解决方案1.创建一台与 Kafka 同 VPC 的 ECS 服务器,放开安全组 9093 端口同时绑定公网 IP,具体操作参考 [[ECS使用说明]]((https://www.volcengine.com/docs/6396/67793))。2.在部署 Kafka 的机器添加本地解析和修改配置文件如下:* 添加域名解析```undefined# cat /etc/hosts127.0.0.1 localhost...
已购买开通火山引擎Kafka产品3. 消息队列Kafka已绑定公网IP(可参考:https://www.volcengine.com/docs/6439/107774)4. 本地Source Kafa状态正常# 实验说明 [#](https://vsop-online.bytedance.net/doc/manage... 先确认用于访问的用户是否已经存在:![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6f862fbdc456a3bac7f0054b4a9c2e8c.png)如果未建立,请先创建用户。确认完成后,在“实例管理”页...
通过 IAM 用户使用消息队列 Kafka版前,应先通过火山引擎账号为 IAM 用户授予相关的访问权限,消息队列 Kafka版支持自定义的权限策略,本文档介绍消息队列 Kafka版各种常见场景下的自定义访问策略示例。 指定实例的只读权限被授予以下权限策略后,IAM 用户可以通过控制台或 OpenAPI 查看指定实例的配置及接入点等基本信息、查看 Topic列表和分区详情、查看 Group 列表及其消费状态、查询消息等。 JSON { "Statement": [ { ...
即允许指定 SASL 用户通过指定 IP 地址访问指定资源。 ACL 仅对关闭了 All Permitted 权限的 SASL 用户生效。 不支持修改已创建的 ACL,若有需要,建议删除后重新创建 ACL。 前提条件Kafka 实例状态为运行中。 已创建 SASL 用户和 Topic、Group。 待添加权限的 SASL 用户已关闭了 All Permitted 权限。设置方式请参考创建 SASL 用户。 操作步骤登录消息队列 Kafka版控制台。 在顶部菜单栏中选择地域,并在左侧导航栏中单击实例列...
如果创建实例时未开启公网访问,请参考本文档设置。 背景信息开启公网访问后,消息队列 Kafka版为实例提供公网接入点,用于客户端通过公网访问 Kafka 实例。Kafka 实例公网接入点可选择数据链路是否经由 SSL 认证,目前支持客户端对服务端证书的单向认证,数据加密传输,相较于普通公网访问方式具备更高的安全性。 前提条件已成功创建 Kafka 实例,且实例状态为运行中。 开启公网访问前,请先创建相同地域的 EIP,建议绑定的 EIP 带宽上限...
本文介绍了消息队列 Kafka版各特性版本的功能发布动态和文档变更动态。 2024年3月功能名称 功能描述 发布地域 相关文档 Topic 支持标签 支持为 Topic 添加标签,您可以将 Topic 通过标签进行归类,有利于识别和... 表示所有地址均可访问。 2023-06-26 全部地域 创建实例 自定义接入点域名前缀 支持自定义修改实例的公网和私网接入点的域名前缀。 2023-06-12 全部地域 修改接入点域名前缀 2023年5月功能名称 功能描述...
首次使用消息队列 Kafka版之前,您需要进行跨服务授权,允许消息队列 Kafka版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 Kafka 实例之前需要进行跨服务访问授权,完成授权后 Kafka 可以持续访问其他服务中的资源,直至删除服务关联角色。 服务关联角色的权限由系统生成,无法变更权限。若您需要取消授权,请删除角色。 建议通过火山引擎主账号完成跨服务访问授权,否则 IAM...
请求参数 无 响应参数 参数 类型 说明 AvailableVersions String 所有支持的Kafka版本列表。 ChargeTypes String 当前Kafka服务支持的计费方式。 - PostPaid:按需计费 - PrePaid:包年/包月 InstanceParams List 购买实例可配置的Kafka参数列表。详细信息请参考 。 InstanceSpec List 所有可购买的Kafka实例规格,详细信息请参考 。 NetType List> 所有支持的Kafka实例网络类型。 - Private:私有网络VPC访问。 - Internet:公网访...
本文档以 Confluent 官方的 Java 版本 SDK 为例介绍 Kafka 生产者和消费者的使用建议。推荐在使用消息队列 Kafka版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息顺序性火山引擎 Kafka... 域名解析火山引擎 Kafka 实例为分布式集群部署,初始接入点使用域名的方式提供。当客户端使用域名接入时,推荐设置客户端的 DNS 解析方式为全部 IP 解析,即 client.dns.lookup=use_all_dns_ips。保证分布式集群在发...
# 问题描述在开发和测试过程中,我们可能会遇到无法连接 Kafka 的情况,本文使用 kafka-console-consumer,来模拟几类常见的连接报错# 环境配置* 密码类型选择 Scram![图片](https://p9-arcosite.byteimg.com/t... Firewall blocking Kafka TLS traffic (eg it may only allow HTTPS traffic), (3) Transient network issue. (org.apache.kafka.clients.NetworkClient)```出现此报错,建议检查您的客户端 IP 是否在白名单中,...
本文档介绍了在增长分析(DataFinder)产品私有化部署场景下,开发同学如何访问Kafka Topic中的流数据,以便进一步进行数据分析和应用,比如实时推荐等。 1. 准备工作 kafka消费只支持内网环境消费,在开始之前,需要提前准备好如下输入: Kafka 0.10.1版本及以上的客户端(脚本或JAR包) zookeeper链接:可联系运维获取 broker链接:可联系运维获取 topic名称:下方给出了两个topic数据格式,确认需要消费哪一个topic; ConsumerGroup:确认好Co...