Redis大列表LRANGE命令性能问题及优化方案咨询

问题解答 #

首先明确：使用HKEYS不会提升性能，甚至完全无法满足需求 #

• 你当前存储的是列表结构，若强行改为Hash结构，HKEYS 只能获取Hash的所有字段名，无法拿到对应的值，要全量获取Hash数据需要执行HGETALL，它和LRANGE mylist 0 -1的时间复杂度都是O(n)，本质都是遍历全量数据，不会有性能提升。
• 你提供的慢日志中显示单条LRANGE耗时最高达52ms，核心原因有两个：一是Redis单线程架构下大key全量遍历会阻塞其他请求，二是1万条数据序列化后网络传输开销大，20个进程每秒重复拉取还会放大这个开销。

可行的替代方案 #

• 方案1：进程本地缓存 + 变更通知（最推荐）
  给每个访问进程加一层本地内存缓存，设置合理的过期时间（比如1~3秒，可根据业务对数据一致性的要求调整），无需每秒都请求Redis拉取全量数据。当mylist有更新时，通过Redis的Pub/Sub能力发布变更通知，所有订阅的进程收到通知后主动拉取最新的全量数据更新本地缓存即可，可降低99%的Redis请求量。
• 方案2：预序列化存储为String类型
  不要直接存储Redis原生列表，将整个列表序列化为JSON/Protocol Buffers等格式的字符串后，用SET命令存为String类型的键。全量获取时直接执行GET命令即可，时间复杂度为O(1)，省去了Redis内部遍历列表、逐个序列化的开销，同时序列化后的体积更小，网络传输耗时也会大幅降低。
• 方案3：读写分离分流读请求
  如果mylist更新频率低，且要求强一致不能用本地缓存，可以搭建Redis从节点，专门处理这类大key全量读请求，避免读请求阻塞主节点的写入和其他核心业务请求。
• 方案4：分段读取避免单次阻塞
  如果必须实时从主节点拉取全量数据，可以将列表拆分为多段读取，比如每次执行LRANGE mylist 0 999、LRANGE mylist 1000 1999，分10次拉取完成，单次请求耗时降到1ms级别，不会长时间占用Redis单线程资源影响其他请求。

127.0.0.1:6379> slowlog get 10
1) 1) (integer) 3
   2) (integer) 1637075048
   3) (integer) 21702
   4) 1) "LRANGE"
      2) "mylist"
      3) "0"
      4) "-1"
   5) "[::1]:42268"
   6) ""
2) 1) (integer) 2
   2) (integer) 1637074986
   3) (integer) 52563
   4) 1) "LRANGE"
      2) "mylist"
      3) "0"
      4) "-1"
   5) "[::1]:42268"
   6) ""
3) 1) (integer) 1
   2) (integer) 1637074923
   3) (integer) 20673
   4) 1) "LRANGE"
      2) "mylist"
      3) "0"
      4) "-1"
   5) "[::1]:42266"
   6) ""
4) 1) (integer) 0
   2) (integer) 1637074385
   3) (integer) 16242
   4) 1) "LRANGE"
      2) "mylist"
      3) "0"
      4) "-1"
   5) "[::1]:42266"
   6) ""
127.0.0.1:6379> exit

内容的提问来源于stack exchange，提问作者texasraj