Docker Desktop Kubernetes中Celery Worker连接外部RabbitMQ失败

问题概述 #

在Docker Desktop的Kubernetes集群运行Celery Worker，尝试连接本地RabbitMQ（消息代理）和Redis（结果后端）时，出现连接拒绝错误：

[2023-06-19 19:41:14,114: ERROR/MainProcess] consumer: Cannot connect to amqp://guest:**@message-broker:5672//: [Errno 111] Connection refused.

当前采用无选择器Service（message-broker）+EndpointSlice映射本地RabbitMQ的方式，但连接失败，且RabbitMQ管理端无连接记录，同时不确定该映射方式是否最优。

问题排查与修复步骤 #

1. 验证本地RabbitMQ的集群可达性 #

先确认K8s集群内的Worker Pod能否访问本地RabbitMQ的IP和端口：

• 进入Worker Pod执行测试命令：

  kubectl exec -it <worker-pod-name> -- ping 10.0.0.40
  kubectl exec -it <worker-pod-name> -- nc -zv 10.0.0.40 5672
  

  如果ping不通或nc连接失败，说明网络存在隔离：
  • Docker Desktop的K8s集群默认使用内部子网，可改用host.docker.internal（Docker Desktop提供的本地主机固定别名）替代硬编码IP，避免本地IP变动导致的连接问题。

2. 修正EndpointSlice配置 #

你的EndpointSlice中配置了两个IP，K8s会随机选择一个转发流量，若其中一个IP不可用就会触发连接失败：

• 只保留本地RabbitMQ实际监听的有效IP，删除无效条目；
• 或直接用host.docker.internal作为Endpoint地址，配置示例：

  apiVersion: discovery.k8s.io/v1
  kind: EndpointSlice
  metadata:
    name: message-broker
    labels:
      kubernetes.io/service-name: message-broker
  addressType: IPv4
  endpoints:
    - addresses:
        - "host.docker.internal"
      ports:
        - name: rabbitmq-port
          port: 5672
          protocol: TCP
        - name: rabbitmq-mgmt-port
          port: 15672
          protocol: TCP
  

3. 检查RabbitMQ本地配置 #

确保本地RabbitMQ允许外部连接：

• 查看rabbitmq.conf中的listeners.tcp.default配置，确认绑定的是0.0.0.0（允许所有IP访问），而非仅127.0.0.1（仅本地回环）；
• 默认guest用户仅允许本地访问，需修改其权限或创建新用户，允许从K8s集群子网连接虚拟主机/。

4. 更简洁的本地服务映射方案 #

无选择器Service+EndpointSlice是可行方案，但开发环境下更简洁的方式是直接使用host.docker.internal：

• 在Celery Worker的环境变量中直接配置连接地址，无需创建额外的Service和EndpointSlice，简化配置。

修正后的配置示例 #

直接使用host.docker.internal的Deployment #

apiVersion: apps/v1
kind: Deployment
metadata:
  name: worker-a
  labels:
    app: worker-a
spec:
  replicas: 1
  selector:
    matchLabels:
      app: worker-a
  template:
    metadata:
      name: worker-a
      labels:
        app: worker-a
    spec:
      containers:
        - name: worker
          image: worker:k8s
          imagePullPolicy: IfNotPresent
          command: ["celery", "-A", "your_app", "worker", "--loglevel=info"]
          env:
            - name: CELERY_BROKER_URL
              value: "amqp://guest:guest@host.docker.internal:5672//"
            - name: CELERY_RESULT_BACKEND
              value: "redis://host.docker.internal:6379/0"
      restartPolicy: Always

内容的提问来源于stack exchange，提问作者ibby