原生Apache Kafka/ZooKeeper与Confluent组件兼容性及部署问题咨询

首先解决你当前遇到的生产者连接失败问题，再说明原生Kafka与Confluent组件的兼容性情况：

一、修复生产者连接错误 #

从你的命令和报错日志来看，核心问题是指定的Broker地址错误：

你在Schema Registry容器内执行kafka-avro-console-producer时用了--broker-list localhost:9093，但容器内的localhost指向容器自身，而你的Kafka Broker部署在Kubernetes集群的其他节点/服务中。之前你已经通过telnet kafka-0.kafka-hs 9093成功连通了Broker，说明正确的Broker地址应该是集群内的服务域名，而非容器的localhost。

修正后的测试命令： #

/usr/bin/kafka-avro-console-producer \
--broker-list kafka-0.kafka-hs:9093 --topic bar \
--property value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'

如果你的Kafka集群有统一的服务地址（比如kafka-hs.log-platform.svc.cluster.local），使用集群地址会更稳定：

/usr/bin/kafka-avro-console-producer \
--broker-list kafka-hs.log-platform.svc.cluster.local:9093 --topic bar \
--property value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'

二、原生Apache Kafka与Confluent组件的兼容性 #

你完全不用担心兼容性问题：Confluent的Schema Registry、Kafka Connect都是为兼容原生Apache Kafka设计的，只要保证Confluent Platform版本与你的Apache Kafka版本匹配即可：

• 从日志里的Kafka version : 1.0.0-cp1可以看出，你使用的Confluent组件对应Confluent Platform 5.0.x，这个版本完美兼容原生Apache Kafka 1.0.0（Confluent的版本命名规则是Kafka版本-cp版本，比如1.0.0-cp1就对应Kafka 1.0.0）。
• 后续升级时，只要遵循Confluent的版本映射关系（比如CP 7.x对应Kafka 2.8.x/3.x系列），就能保证兼容性。

三、额外排查建议（若修正地址后仍有问题） #

• 检查Kafka Broker的advertised.listeners配置：确保Broker对外暴露的地址是Kubernetes集群内可访问的域名或IP（比如你用的kafka-0.kafka-hs.log-platform.svc.cluster.local:9093），否则生产者会获取到错误的Broker地址，导致连接失败。
• 验证K8s网络策略：虽然你已经用telnet连通了端口，但如果K8s配置了网络策略，需要确认Schema Registry所在的Namespace有权限访问Kafka服务的9093端口。
• 检查Schema Registry自身配置：确保Schema Registry的kafkastore.bootstrap.servers参数配置了正确的Kafka Broker地址，这样Schema Registry才能正常连接Kafka存储Schema元数据。

内容的提问来源于stack exchange，提问作者Oles Rid