多Redis主实例高效扩容与双向数据同步方案咨询

针对你无法使用Redis Cluster、需要双主双向同步且低性能损耗的场景，以下是几个落地性强的高效解决方案：

方案1：基于Redis键空间通知的增量实时同步 #

利用Redis原生的键空间通知功能，实时捕获主节点的写操作并同步到另一个节点，是最轻量的原生方案。

• 配置与实现：

  1. 在两个Redis主节点的redis.conf中开启键空间通知：

     notify-keyspace-events AK
     

     （A捕获所有写操作事件，K监听键空间，可根据业务需求调整事件范围）
  2. 用高性能客户端订阅目标频道：比如Python用aioredis（异步客户端）订阅__keyspace@0__:*（0为默认数据库，按需修改）
  3. 捕获到写事件（SET/DEL/HSET等）后，直接在另一个主节点执行相同命令

• 核心优化点：

  • 用异步客户端避免阻塞，降低脚本CPU占用
  • 对高频写操作做小批量攒批（比如每100个操作批量执行），平衡延迟与性能
  • 忽略只读操作（GET等），只同步写命令

• 优势：

  • 几乎不影响Redis主节点性能，通知为异步触发
  • 延迟极低，基本实现实时同步
  • 无需额外中间件，依赖Redis原生功能

• 注意事项：

  • 网络中断后需补全：定期用SCAN增量遍历全量key，对比两节点差异做补全，避免丢事件
  • 保证命令幂等性：比如DEL操作可结合EXISTS判断后执行，避免误删；SET操作可保留原参数重复执行

方案2：基于Redis Stream的可靠同步 #

如果键空间通知的可靠性不足（比如Redis重启可能丢失未处理事件），用Redis Stream做可靠消息队列，实现至少一次的同步语义。

• 配置与实现：

  1. 在两个主节点分别创建Stream：XCREATE sync_stream MAXLEN ~ 100000（用近似最大长度避免内存溢出）
  2. 修改业务客户端，执行写操作后将命令与参数写入本地Stream：XADD sync_stream * cmd "SET" key "foo" value "bar"
  3. 部署同步程序（推荐用Go编写，性能远高于Python），从A节点Stream读消息并在B节点执行，反向同理

• 核心优化点：

  • 用消费者组（XGROUP CREATE）实现多进程/多机器负载均衡，避免单点瓶颈
  • 定期清理过期Stream消息，控制内存占用
  • 同步程序做故障重试，确保消息被至少执行一次

• 优势：

  • 可靠性高，Stream持久化消息，Redis重启后不丢失
  • 可回溯历史消息，快速处理故障后的补全同步
  • 同步程序可水平扩展，支撑高QPS场景

方案3：Redis多主模块原生支持 #

如果不想自行开发同步逻辑，可使用第三方维护的Redis多主模块（如基于Redis 6.x+的redis-multi-master），原生支持双主/多主双向同步，性能损耗极低。

• 配置与实现：

  1. 编译安装模块到Redis的模块目录
  2. 在redis.conf中加载模块：loadmodule /path/to/redis-multi-master.so
  3. 配置主节点同步关系：在节点A执行MASTER ADD nodeB:6379，节点B执行MASTER ADD nodeA:6379

• 优势：

  • 完全原生集成，无需额外同步程序，性能损耗最小
  • 自动处理冲突（默认最后写优先，可配置规则）
  • 支持扩展至多个主节点，满足未来扩容需求

• 注意事项：

  • 选择维护活跃的模块版本，避免兼容性问题
  • 提前测试冲突场景，确保符合业务一致性要求

现有Python脚本紧急优化方案 #

若暂时无法切换至上述方案，可先优化现有脚本以降低同步耗时：

• 用SCAN替代KEYS命令：KEYS会阻塞Redis，SCAN为增量遍历，对性能影响极小
• 批量执行命令：用pipeline批量发送命令，减少网络往返次数（比如一次发1000条命令）
• 改用异步客户端：用aioredis替代同步redis-py，提升脚本并发能力
• 增量同步变化key：用OBJECT IDLETIME或记录上次同步时间戳，只同步最近修改的key，减少同步数据量

内容的提问来源于stack exchange，提问作者Meet Shah