Openfire部署XMPP集群在NLB下的连接管理与消息投递问题咨询

1. XMPP协议原生的集群支持方案 #

XMPP核心规范RFC6120已经内置了服务器到服务器（S2S）通信协议，原生支持同一个域名下多实例的路由交互：

• 每个XMPP实例会维护两份核心表：本地已连接客户端的JID映射表、集群全量JID对应的实例路由表
• 当客户端2连接的实例收到发往客户端1的消息时，先查询本地JID表，如果目标客户端不在本地，就通过路由表找到客户端1连接的实例，通过S2S链路转发消息，最后由目标实例推送给客户端1

原生方案的局限性也很明显：S2S最初是为跨域名的联邦通信设计的，用在同域名内部集群时，存在性能开销高、路由表同步延迟大、节点上下线感知慢的问题，生产环境很少直接用原生S2S做内部集群实现。

2. 集群路由定位的核心逻辑 #

要确定客户端2需要和哪个服务节点交互，核心是要维护全局一致的JID到实例的映射关系，所有集群节点都可以实时访问该映射，流程如下：

• 客户端和任意实例建立连接后，该实例会将客户端的完整JID（格式为localpart@domain/resource）和自身的节点标识写入全局映射
• 任意节点收到发往指定JID的消息时，先查询全局映射拿到目标节点地址
• 节点之间通过内部RPC、消息队列或者分布式缓存的事件通知能力完成跨节点消息转发

3. Hazelcast实现XMPP集群的具体逻辑 #

Hazelcast作为内存计算网格，自带分布式内存数据结构和事件通知能力，刚好匹配XMPP集群的需求，实现逻辑如下：

• 每个XMPP实例启动后加入同一个Hazelcast集群，组成统一的分布式域
• 用Hazelcast的IMap（分布式Map）存储全局JID-节点映射：客户端上线时，当前实例向IMap写入「JID: 节点ID」的KV对，客户端下线时自动删除对应键，Hazelcast会自动保证所有节点看到的IMap数据一致性，也可以根据业务需求配置强一致模式
• 跨节点消息转发通常有两种实现：
  • 方式一：查询IMap拿到目标节点ID后，通过Hazelcast的分布式主题（ITopic) 向目标节点专属的主题发送消息，目标节点订阅了自身的主题，收到消息后直接推给本地连接的客户端
  • 方式二：直接用Hazelcast的点对点RPC（IExecutorService) 把投递任务提交到目标节点执行，不需要额外的消息中转
• Hazelcast内置了节点健康检测能力，某个实例宕机后，集群会自动把该实例对应的所有JID从IMap里批量清除，避免消息路由到死节点

4. 可替代的实现方案 #

• Redis集群方案：用Redis的Hash结构存储全局JID映射，节点之间通过Redis的Pub/Sub能力做跨节点消息转发，部署门槛低，适合中小规模集群
• Consul/etcd服务发现+内部RPC方案：用Consul/etcd做JID映射存储和节点健康检测，节点之间用gRPC/Thrift做高性能跨节点消息投递，性能损耗低，适合大规模高并发场景
• XMPP服务端内置集群能力：主流开源XMPP服务端（Ejabberd、Openfire、Prosody）都自带集群模块，不需要手动实现底层逻辑：
  • Ejabberd基于Erlang原生分布式能力实现节点通信和路由表同步
  • Openfire支持直接启用Hazelcast集群插件，开箱即用
• Kafka消息队列方案：给每个XMPP实例分配专属的Kafka Topic，所有节点收到非本地消息时，按照JID映射把消息写入目标节点的Topic，目标节点消费自身Topic完成投递，适合消息量极大、对投递可靠性要求极高的场景

内容的提问来源于stack exchange，提问作者Natasha Garg