多节点Minikube中RabbitMQ集群无法创建mnesia目录的问题

问题现象 #

在双节点Minikube环境中，通过RabbitMQ Operator创建单节点RabbitMQ集群时，Pod启动失败并进入崩溃循环，日志显示无法创建Mnesia目录、写入PID文件，核心错误为permission denied；但在单节点Minikube环境下执行相同步骤，部署完全正常。

复现步骤 #

• 前置条件：已安装Minikube、kubectl、krew

1. 启动双节点Minikube：

   minikube start --memory 8192 --cpus 4 --nodes 2
   

2. 安装kubectl RabbitMQ插件：

   kubectl krew install rabbitmq
   

3. 部署RabbitMQ集群Operator：

   kubectl rabbitmq install-cluster-operator
   

4. 创建默认单节点RabbitMQ集群：

   kubectl rabbitmq create default
   

关键错误日志 #

2023-01-19 16:31:42.993395+00:00 [warning] <0.130.0> Failed to write PID file "/var/lib/rabbitmq/mnesia/rabbit@default-server-0.default-nodes.default.pid": permission denied
...
2023-01-19 16:31:43.715974+00:00 [error] <0.221.0> Error during startup: {error,
                          {cannot_create_mnesia_dir,
                              "/var/lib/rabbitmq/mnesia/rabbit@default-server-0.default-nodes.default/",
                              eacces}}

问题根因 #

双节点Minikube中，默认storage-provisioner创建的Persistent Volume（PV）会随机绑定到其中一个节点，而RabbitMQ容器以UID 999的非root用户运行。当Pod被调度到与PV所在不同的节点时，跨节点访问存储目录会触发权限限制，导致RabbitMQ无法写入数据目录；单节点环境下PV与Pod在同一节点，不存在跨节点权限问题。

解决方案 #

方案1：强制Pod调度到PV所在节点 #

1. 查看PV绑定的节点：

   kubectl describe pv $(kubectl get pv -o jsonpath='{.items[0].metadata.name}') | grep NodeAffinity
   

   提取输出中的节点名称（如minikube或minikube-m02）。
2. 编辑RabbitMQ StatefulSet，添加节点亲和性规则：

   kubectl edit statefulset default-server
   

   在spec.template.spec下插入以下配置：

   affinity:
     nodeAffinity:
       requiredDuringSchedulingIgnoredDuringExecution:
         nodeSelectorTerms:
         - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - <PV所在节点名称>
   

   保存后StatefulSet会重建Pod，确保Pod与PV在同一节点。

方案2：通过Init容器修正存储目录权限 #

1. 编辑RabbitMQ StatefulSet：

   kubectl edit statefulset default-server
   

2. 在spec.template.spec.initContainers下添加权限修正容器：

   - name: fix-permissions
     image: busybox:1.35
     command: ["sh", "-c", "chown -R 999:999 /var/lib/rabbitmq/mnesia"]
     volumeMounts:
     - name: data
       mountPath: /var/lib/rabbitmq/mnesia
   

   保存后Init容器会在RabbitMQ启动前修改目录权限，确保容器用户拥有写入权限。

方案3：使用本地存储类 #

Minikube的local-path存储类会确保PV与Pod在同一节点，从根源避免跨节点权限问题：

1. 启用local-path存储类：

   minikube addons enable local-storage
   

2. 创建RabbitMQ集群时指定存储类：

   kubectl rabbitmq create default --storage-class=local-path
   

   若已创建集群，可编辑RabbitMQCluster CR修改存储类：

   kubectl edit rabbitmqcluster default
   

   将spec.persistence.storageClassName设置为local-path。

内容的提问来源于stack exchange，提问作者PhasedAndConfused