Kafka同步数据到Redis后执行KEYS *仅见偏移量键如何查看业务数据

你查询到的__kafka.offset.redisdatamove.0是Kafka-Redis同步组件自身存储消费位点的内部键，不属于同步过来的业务数据，按以下步骤操作即可定位到业务数据：

• 核对同步任务的写入配置
  先检查当前使用的同步工具（Kafka Connect Redis Sink、自定义同步程序、数据迁移工具等）的配置项，重点确认三个信息：
  • 业务数据写入的Redis数据库编号：绝大多数同步工具默认将消费位点存在0号库，业务数据会按配置写入其他编号的数据库，这是你在0号库看不到业务数据的最常见原因
  • 业务键的命名规则：部分同步工具会给写入的业务键加固定前缀，不会直接使用消息体里的原始键名
  • 写入的数据结构类型：确认业务数据是写入String、Hash、Set、List还是ZSet结构，避免后续用错查询命令
• 逐库扫描所有键
  Redis默认提供0-15共16个数据库，逐个切换数据库遍历键即可，生产环境禁止使用KEYS *命令，该命令会全量遍历键空间造成服务阻塞，用无阻塞的SCAN命令遍历：

  # 切换到指定编号的数据库，比如切换1号库执行SELECT 1，依次遍历所有库
  SELECT <数据库编号>
  # 首次遍历游标传0，COUNT参数指定每次扫描的键数量
  SCAN 0 COUNT 1000
  

  每次执行后会返回新的游标值，重复执行SCAN <新游标值> COUNT 1000直到游标返回0，即可拿到当前库下的所有键，排除__kafka开头的内部位点键，其余就是同步写入的业务键。
• 校验同步任务运行状态
  如果遍历完所有数据库都未找到业务键，按以下点排查任务问题：
  • 检查同步任务的过滤规则：是否配置了Topic白名单、消息字段过滤逻辑，导致业务消息被跳过没有写入
  • 检查过期配置：是否给业务键设置了极短的过期时间，数据写入后已经自动过期删除
  • 检查任务日志：查看同步任务的运行日志，确认消费消息条数、写入成功条数，排查是否有序列化失败、写入权限不足、Redis连接异常等报错
  • 核对消费位点进度：执行GET __kafka.offset.redisdatamove.0获取当前存储的消费offset，和Kafka对应Topic的最新offset对比，如果位点值一直没有推进，说明任务根本没有成功消费到业务消息，自然不会有数据写入Redis。

提示：如果是测试环境数据量极小的场景，确认无业务影响后可以在对应库执行KEYS *快速查询，生产环境一律使用SCAN命令做全量键遍历。

内容的提问来源于stack exchange，提问作者Naveenkumar seerangan