Milvus Operator无法连接外部Kafka：DependencyNotReady错误

通过Milvus Operator在Kubernetes集群中安装Milvus，已在middleware命名空间配置外部Kafka部署，配置信息如下：

msgStreamType: "kafka"
kafka:
  external: true
  brokerList:
  - "kafka-0.kafka.middleware:9092"
  - "kafka-2.kafka.middleware:9092"
  - "kafka-1.kafka.middleware:9092"

部署后遇到以下错误：

{"level":"info","ts":"2024-11-28T01:14:39Z","logger":"controller.status-syncer","msg":"milvus dependency unhealty","reason":"DependencyNotReady","msg":"dep[StorageReady]: Secret not exist;dep[MsgStreamReady]: checkKafka with backoff failed: check consume offset from broker failed: error dialing all brokers, one of the errors: failed to dial: failed to open connection to kafka-1.kafka:9092: dial tcp: lookup kafka-1.kafka on 10.18.0.10:53: server misbehaving;"}

1. Kafka地址解析失败（核心问题） #

• 原因：Kafka集群的advertised.listeners配置错误，导致Milvus从Kafka元数据中获取到的broker地址是不带namespace后缀的kafka-1.kafka:9092，而非配置里的完整域名kafka-1.kafka.middleware:9092，跨namespace的Milvus Pod无法解析该短域名。
• 解决步骤：
  • 修改Kafka的配置文件，将advertised.listeners设置为包含完整namespace域名的地址，示例：

    advertised.listeners=PLAINTEXT://kafka-0.kafka.middleware:9092,PLAINTEXT://kafka-1.kafka.middleware:9092,PLAINTEXT://kafka-2.kafka.middleware:9092
    

    注意根据实际使用的listener协议（如SSL）调整前缀。
  • 重启Kafka集群，确保新配置生效。
  • 验证连通性：进入Milvus Pod内部，执行nslookup kafka-1.kafka.middleware确认域名可解析，再执行telnet kafka-1.kafka.middleware 9092确认端口能正常访问。

2. 存储依赖Secret缺失 #

• 原因：Milvus所需的存储服务（如MinIO、S3等）对应的访问凭证Secret未创建，或配置路径错误。
• 解决步骤：
  • 根据使用的存储类型创建对应Secret，以MinIO为例，创建包含accesskey和secretkey字段的Secret：

    kubectl create secret generic milvus-storage-secret \
      --from-literal=accesskey=your-access-key \
      --from-literal=secretkey=your-secret-key \
      -n <milvus-namespace>
    

  • 在Milvus的CR配置中，确保storage部分正确引用该Secret的名称，示例：

    storage:
      secretName: milvus-storage-secret
    

内容的提问来源于stack exchange，提问作者tmandyai