Redis中ZUNIONSTORE复用源集合的性能优化问题

问题核心 #

我需要把一个大小为K（通常仅几十条）的小型Redis有序集合，合并到另一个大小为N（峰值可达数万条）的大型有序集合中，且能保证两个集合无交集。

直接使用ZUNIONSTORE的话，文档标注的最坏时间复杂度是O(N + K + (N+K)*log(N+K))；而用ZRANGE取出小集合所有元素再通过ZADD写入大集合的方案，最坏时间复杂度为O(logK + K + KlogN)。

现在的疑问是：当目标集合与其中一个源集合（即那个大型集合）相同时，Redis会不会针对这种场景优化ZUNIONSTORE的性能，使其接近ZRANGE+ZADD的水平？还是说ZUNIONSTORE始终会全量创建包含N+K条元素的新集合，再替换掉旧的大集合？

背景场景 #

我正在开发一个基于Redis有序集合实现的优先级队列：

• 多个进程向队列写入数据；
• 定期有一个进程的线程从队列中获取最多K条数据处理；
• 为了保证查询开始后，新进入队列的高优先级数据能被及时响应，我采用循环K次每次读取单条最高优先级数据的方式，而非一次性取出K条；
• 部分数据处理时需要放回队列，但必须等K条数据全部检查完后才能放回——如果中途跳过第一条数据直接放回，会导致重复检查同一条数据K次，而非处理K条不同的数据。

现有实现 #

目前我把需要放回的数据暂存到单独的“工作列表”（buffer有序集合）：

• 已处理的数据：从优先级队列和buffer中都移除；
• 需要跳过的数据：仅从优先级队列中移除，保留在buffer里；
• 全部K条处理完成后，用ZUNIONSTORE把buffer中剩余的数据合并回优先级队列。

伪代码如下：

// 初始化：多进程向优先级队列"queue"写入N条数据，"buffer"为空
for (int i = 1; i <= k; i++) {
  item = ZRANGE "queue" 0 0  // 取最高优先级元素（Redis下标从0开始）
  ZADD "buffer" item.score item.key
  ZREM "queue" item.key  // 移除后避免其他线程处理时重复获取

  if (processItem(item)) {
    ZREM "buffer" item.key  // 处理完成，从buffer中移除
  }
}

// 将buffer中未处理的条目放回queue
ZUNIONSTORE "queue" 2 "queue" "buffer"

替代方案 #

考虑改用ZRANGE取出buffer所有元素，再用ZADD写回queue，伪代码如下：

bufferItems = ZRANGE "buffer" 0 -1 WITHSCORES  // 取出所有元素及分数
ZADD "queue" bufferItems  // 批量写回队列

核心顾虑 #

ZUNIONSTORE语义清晰，还能避免把数据读出Redis再写回的网络开销，但峰值时N远大于K，担心其全量重建集合的性能远不如ZRANGE+ZADD。想确认Redis是否会针对“目标集合与其中一个源集合相同”的场景优化ZUNIONSTORE，如果没有的话，就需要切换到ZRANGE+ZADD的实现方式。

内容的提问来源于stack exchange，提问作者Andrew Perkins