面向推送通知/邮件应用的用户级有序消息队列选型问询

针对你提出的需求，以下几个成熟的消息队列系统可以通过配置或轻度改造来匹配：

RabbitMQ + 动态队列配置 #

• 动态用户队列：通过客户端API，在有用户消息时自动创建以用户ID命名的专属队列，并设置x-expires参数（比如1小时），无消息时队列自动过期删除；有新消息时重新创建即可。
• 用户消息有序性：每个用户单独队列，天然保证该用户的消息按发送顺序处理，不会出现跨用户阻塞的情况。
• 排他消费控制：给每个用户队列开启x-single-active-consumer特性，确保同一时间只有一个消费者能获取该队列的头部消息，避免同一用户消息被多消费者并行处理。
• 消息处理与重试：消费者处理成功后手动发送ACK，消息直接被丢弃；处理失败时拒绝消息并设置requeue=true，将消息放回队头重试。可以在消息属性中添加重试次数标记，达到设定次数后转发到死信队列（DLQ）。
• 吞吐量表现：RabbitMQ通过合理配置（如预取数设为1、开启批量ACK），可以支撑高并发场景的吞吐量需求。

Redis Streams #

• 动态用户流：以用户ID作为Stream名称，写入消息时自动创建对应Stream；通过定时脚本清理长期闲置（无新消息且待处理消息为空）的Stream。
• 用户消息有序性：Stream的消息ID默认按时间戳生成，也可自定义包含用户维度的有序ID，确保同一用户的消息严格按顺序消费。
• 排他消费控制：为每个用户Stream创建独立的消费者组，消费者通过XREADGROUP命令每次获取1条消息，处理完成后执行XACK确认；未确认的消息会保留在待处理列表，其他消费者无法获取同一用户的待处理消息。
• 消息处理与重试：处理失败时不执行XACK，消息会重新回到待处理队列；达到重试次数后，可手动将消息写入专门的DLQ Stream。
• 吞吐量表现：Redis Streams基于内存+持久化设计，吞吐量极高，适合高并发的实时消息场景。

Apache Pulsar #

• 动态用户主题：Pulsar支持自动创建主题，直接用用户ID作为主题名；通过配置主题自动清理规则，删除长期无消息的闲置主题。
• 用户消息有序性：每个用户对应独立主题，消息严格按发送顺序存储和投递，完全避免跨用户的消息阻塞问题。
• 排他消费控制：使用Key_Shared订阅模式，将用户ID作为消息的Key，配置每个Key仅被一个消费者处理，这样同一用户的消息只会分配给一个消费者，同时多个消费者可以并行处理不同用户的消息。
• 消息处理与重试：Pulsar内置重试机制，处理失败的消息会自动重新投递；达到设定重试次数后，消息会被路由到死信主题（DLQ）。处理成功的消息被确认后不会保留。
• 吞吐量表现：Pulsar是分布式云原生消息系统，具备高吞吐量、低延迟特性，可支撑大规模的消息处理需求。

关键配置注意事项 #

• 动态资源清理：务必设置合理的闲置超时时间，避免大量闲置队列/主题占用系统资源。
• 重试次数管控：通过消息属性或服务端规则记录重试次数，防止消息无限循环重试。
• 负载均衡优化：配置消费者的负载均衡策略，确保多消费者能均匀分配不同用户的消息任务，避免个别消费者过载。

内容的提问来源于stack exchange，提问作者Petropolis