生产环境下如何在Kubernetes中配置Lagom框架的Kafka集群

我来帮你梳理下在Kubernetes生产环境里配置Lagom Kafka集群的关键步骤，还有排查kafka_native服务检测失败的思路——既然Cassandra的cas_native已经搞定了，咱们聚焦在Kafka这块：

在排查Lagom配置之前，得先确保Kafka本身在K8s里是正常运行的：

• 检查Kafka的Service资源：执行kubectl get svc -n <你的Kafka命名空间>，确认存在bootstrap类型的Service（通常命名类似kafka-cluster-kafka-bootstrap），端口映射的是9092（Kafka内部通信端口）
• 验证Kafka Pod状态：执行kubectl get pods -n <你的Kafka命名空间>，确保所有Kafka broker Pod都处于Running状态，没有重启或CrashLoopBackOff
• 查看Kafka日志：执行kubectl logs <kafka-pod-name> -n <你的Kafka命名空间>，确认日志里没有“Failed to bind”“Authentication failed”这类致命错误

Lagom通过kafka_native服务标识来发现Kafka集群，你需要在Lagom的配置文件（比如application.conf）或者K8s ConfigMap中配置以下关键项：

# 指定Kafka服务的标识名（对应系统要求的kafka_native）
lagom.broker.kafka.service-name = "kafka_native"

# 配置Kafka集群的bootstrap地址（替换成你实际的Kafka Service地址）
# 格式：<kafka-bootstrap-service-name>.<kafka-namespace>.svc.cluster.local:9092
lagom.broker.kafka.brokers = "kafka-cluster-kafka-bootstrap.kafka.svc.cluster.local:9092"

# 生产环境建议开启认证（以SCRAM-SHA-512为例）
kafka.security.protocol = "SASL_PLAINTEXT"
kafka.sasl.mechanism = "SCRAM-SHA-512"
kafka.sasl.jaas.config = "org.apache.kafka.common.security.scram.ScramLoginModule required username=\"kafka-user\" password=\"kafka-password\";"

# 可选：配置消费者/生产者的其他生产级参数
kafka.producer.acks = "all"
kafka.consumer.auto.offset.reset = "earliest"

如果是用K8s ConfigMap挂载配置，记得把ConfigMap关联到Lagom服务的Deployment中，确保容器能读取到正确的配置。

如果启动时系统提示找不到kafka_native服务，大概率是以下几个问题：

• 命名空间或Service名称不匹配：如果Kafka部署在单独的命名空间（比如kafka），你必须在bootstrap地址里带上命名空间后缀，否则Lagom所在的命名空间无法解析Kafka的Service地址
• 网络策略阻止访问：检查K8s的NetworkPolicy资源，确保Lagom服务所在的命名空间允许向Kafka命名空间的9092端口发起流量
• 服务发现机制问题：Lagom默认使用Kubernetes原生服务发现，你可以在Lagom容器里执行nslookup kafka-cluster-kafka-bootstrap.kafka.svc.cluster.local测试域名解析，如果解析失败，可能是CoreDNS出了问题，或者Service配置有误
• 认证配置错误：如果开启了SASL/SSL，检查jaas.config的格式是否正确，用户名密码是否和Kafka集群的配置一致——认证失败也会导致Lagom无法识别kafka_native服务
• 端口配置错误：确认Kafka Service的目标端口是9092（如果你的Kafka集群修改了默认端口，要同步更新Lagom的配置）

启动Lagom服务后，查看容器日志：

• 如果日志中出现Connected to Kafka cluster with brokers: [...]的信息，说明连接成功
• 也可以在Lagom容器内执行Kafka客户端命令测试：

kubectl exec <lagom-pod-name> -- kafka-topics.sh --list --bootstrap-server kafka-cluster-kafka-bootstrap.kafka.svc.cluster.local:9092

如果能列出Kafka的主题，说明kafka_native服务已经正常工作了。

内容的提问来源于stack exchange，提问作者Chandan Pasunoori