如何在Redis上实现CDC？求助Redis变更数据捕获方案

1. 原生方案：Keyspace Notifications（键空间通知） #

这是Redis自带的轻量事件捕获能力，能直接获取键的创建、修改、过期、删除等事件。

• 开启方式：
  可以动态配置（重启后失效）或修改redis.conf永久生效：

  # 动态开启所有类型的键事件/键空间通知
  CONFIG SET notify-keyspace-events KEA
  # K=键空间通知，E=键事件通知，A=所有事件类型
  

• 事件类型对应：
  • 新增/修改键：触发__keyspace@<db>__:<key> set（或对应操作如hset）事件
  • 键过期：__keyspace@<db>__:<key> expired
  • 键删除：__keyspace@<db>__:<key> del
• 消费方式：用Redis Pub/Sub订阅对应频道，示例代码：

  import redis
  
  r = redis.Redis(host='localhost', port=6379)
  pubsub = r.pubsub()
  # 订阅所有数据库的所有键事件
  pubsub.psubscribe('__keyspace@*__:*')
  
  for msg in pubsub.listen():
      print(f"事件类型: {msg['data']}, 键: {msg['channel'].split(':')[-1]}")
  

• 注意：通知是尽力送达，订阅者离线会丢失事件；高并发场景下需自行处理事件持久化与重试。

2. 可靠事件流：Redis Streams + 业务埋点 #

如果需要不丢失、可回溯的事件流，可结合Redis Streams，在业务写操作后主动写入事件记录。

• 实现思路：每次对Redis执行写操作时，同步向Stream写入结构化事件：

  # 设置键后写入CDC事件
  SET user:1001 '{"name":"Alice"}'
  XADD redis_cdc_stream * event_type="set" key="user:1001" value='{"name":"Alice"}' timestamp=$(date +%s)
  

• 消费方式：用消费者组实现负载均衡与可靠消费：

  # 创建消费者组（若Stream不存在则自动创建）
  XGROUP CREATE redis_cdc_stream cdc_consumer_group $ MKSTREAM
  # 消费未确认的消息
  XREADGROUP GROUP cdc_consumer_group consumer_01 COUNT 10 BLOCK 0 STREAMS redis_cdc_stream >
  

• 优势：事件持久化，支持回溯历史；未确认的消息可重新消费，可靠性高。
• 缺点：需要侵入业务代码，所有Redis写操作都需额外添加写Stream逻辑。

3. 无侵入扩展：RedisGears #

RedisGears是Redis的扩展框架，可通过脚本在Redis层面捕获事件，无需修改业务代码。

• 实现步骤：
  1. 安装RedisGears扩展（需对应Redis版本）
  2. 编写Lua脚本注册事件处理器：

     -- 捕获所有set操作事件，并写入CDC Stream
     redis.register_key_space_event('set', function(client, data)
         local key = data['key']
         local value = client.call('GET', key)
         client.call('XADD', 'redis_cdc_stream', '*', 'event', 'set', 'key', key, 'value', value)
     end)
     

  3. 将脚本加载到Redis中执行
• 优势：完全无侵入，在Redis内核层捕获事件；支持复杂的事件处理逻辑。
• 注意：需维护RedisGears扩展，对Redis版本有兼容性要求。

4. 生态兼容：Debezium Redis Connector（实验性） #

如果你熟悉Debezium生态，可以尝试它的实验性Redis连接器，能将Redis事件转换为Debezium标准格式，输出到Kafka等消息队列。

• 核心能力：捕获键的创建、更新、删除、过期事件，自动转换为结构化消息；和你之前使用的MongoDB/PostgreSQL CDC流程兼容。
• 注意：目前处于实验阶段，部分场景（如批量操作）的事件捕获可能不完善，需测试验证稳定性。

5. 日志解析方案：RDB/AOF解析 #

通过解析Redis的持久化日志获取变更事件，适合离线回溯或补充遗漏事件：

• RDB解析：用redis-rdb-tools等工具解析RDB快照，获取键的状态快照，但无法实时获取增量变更。
• AOF解析：AOF是Redis的增量写日志，可监听AOF文件的新增内容，解析出所有写操作事件；但实现复杂，需处理日志格式变化，实时性不如原生方案。

内容的提问来源于stack exchange，提问作者soroush safari