在Linux RHEL7.5虚拟机部署5节点Kafka集群是否需配置Load Balancer？

嘿，针对你在RHEL7.5虚拟机上搭建5节点Kafka集群的疑问，我来给你唠唠负载均衡相关的要点：

一、是否需要配置Load Balancer？ #

这得看你的业务场景来定：

• 建议配置的情况：如果你的生产者/消费者希望用统一的入口地址接入集群，不想在客户端配置一堆broker节点；或者你需要实现故障自动切换、流量均匀分发到各个broker，那负载均衡绝对能帮上大忙，还能提升架构的健壮性。
• 可以不用的情况：如果你的客户端已经支持通过ZooKeeper自动发现Kafka节点，或者客户端本身配置了多个broker地址（能自动切换故障节点），那也可以跳过负载均衡，但这会增加客户端的配置复杂度。

二、负载均衡应该部署在哪个节点？ #

• 最优方案是单独用一台独立的虚拟机部署，别和Kafka broker节点混在一起——毕竟Kafka本身需要不少CPU、内存资源，混着部署容易互相抢资源，影响消息处理的稳定性。
• 如果实在没有额外的节点可用，也可以选一台资源相对充裕的broker节点来部署，但一定要密切监控这个节点的资源使用率，一旦发现负载过高就得调整。

三、应该使用哪个端口？ #

• Kafka broker默认的监听端口是9092（如果启用了SSL加密，对应端口是9093）。负载均衡需要对外暴露一个端口（可以直接用9092，也可以自定义比如19092），然后把这个端口的流量转发到所有Kafka broker的9092（或对应加密端口）。
• 重点注意：Kafka用的是TCP协议，所以负载均衡必须配置TCP层的转发规则，不能用HTTP模式。另外，要给负载均衡配置健康检查——比如通过尝试建立TCP连接到broker的9092端口，来判断节点是否存活，这样能自动剔除故障节点。

额外小贴士 #

• 如果用HAProxy这类开源负载均衡工具，记得开启TCP模式，并且配置长连接保持，因为Kafka客户端和broker之间是维持长连接的。
• 配置Kafka的advertised.listeners参数时，要确保负载均衡的对外地址被正确设置，避免客户端连接负载均衡后，被Kafka引导到单个broker节点上，失去负载均衡的意义。

内容的提问来源于stack exchange，提问作者Priyanka Marihal