如何在AWS Fargate中搭建RabbitMQ 3.9.24集群？

核心前提说明 #

由于你依赖Quorum Queues特性且无法切换到Amazon MQ，只能基于Fargate自行部署RabbitMQ集群，核心需解决节点发现、持久化存储、网络互通三个关键问题。

具体实现步骤 #

1. 配置共享持久化存储 #

RabbitMQ集群节点需共享元数据（队列配置、集群状态等），同时每个节点的本地数据也要持久化：

• 优先使用Amazon EFS作为共享存储：将RabbitMQ的/var/lib/rabbitmq目录挂载到EFS卷，确保所有Fargate任务节点可访问同一存储。需配置EFS安全组允许Fargate任务安全组访问NFS端口2049。
• 若使用EBS卷（Fargate支持挂载），需额外处理元数据同步逻辑，复杂度较高，不推荐作为首选。

2. 节点发现与集群组建 #

Fargate节点无固定IP，需借助服务发现实现节点间的自动识别：

• 启用ECS Service Discovery（基于Cloud Map）：创建私有命名空间，将RabbitMQ服务注册到该命名空间。每个节点启动时，通过Cloud Map查询集群内已存在的节点。
• 在容器启动脚本中加入集群组建逻辑（示例）：

  # 查询已注册的RabbitMQ节点IP
  EXISTING_NODES=$(aws servicediscovery discover-instances --namespace-name rabbitmq-cluster --service-name rabbitmq --query 'Instances[0].Attributes.ip' --output text)
  
  # 存在已有节点则加入集群，否则初始化为主节点
  if [ ! -z "$EXISTING_NODES" ]; then
    rabbitmqctl stop_app
    rabbitmqctl join_cluster rabbit@$EXISTING_NODES
    rabbitmqctl start_app
  else
    rabbitmqctl start_app
    # 配置Quorum Queues的高可用策略
    rabbitmqctl set_policy ha-quorum "^.*$" '{"ha-mode":"quorum"}'
  fi
  

  注意：需为Fargate任务的IAM角色添加servicediscovery:DiscoverInstances权限。

3. 网络与负载均衡配置 #

• 保留现有NLB终止TLS的配置，将NLB目标组指向ECS服务的所有RabbitMQ任务实例。
• 配置Fargate任务安全组，开放节点间通信端口：4369（Erlang端口映射器）、25672（集群内部通信）、5672/5671（AMQP业务端口）。

4. 任务定义与服务配置 #

• 在ECS任务定义中，指定EFS挂载到/var/lib/rabbitmq，并设置环境变量RABBITMQ_NODENAME=rabbit@$(hostname -f)，确保节点名称唯一且可解析。
• 将ECS服务的任务数调整为3（Quorum Queues要求至少3个节点），配置滚动更新策略，避免同时重启所有节点导致集群不可用。

关键注意事项 #

• Quorum Queues依赖奇数个节点，任务数需设置为3或以上奇数。
• 启用RabbitMQ管理插件（端口15672），用于监控集群节点状态；也可通过CloudWatch采集Fargate任务指标做监控告警。
• 根据消息吞吐量调整EFS性能模式：高负载场景建议选择“通用型”或“最大IO”模式。

内容的提问来源于stack exchange，提问作者OPP