使用REDIS与RIOT迁移约8万键时每次丢失约750键的问题

针对你用RIOT迁移Redis 7.4数据时丢失约750个键的问题，结合小数据量正常、无法直接传RDB的情况，试试下面这些调整方案：

1. 替换replicate模式为全量导出导入 #

replicate依赖Redis复制协议，容易受源库实时键变动（比如过期、删除）影响，换成先dump再restore的全量模式更稳妥：

# 从源库导出到本地文件
./riot-3.1.5/bin/riot \
  --metrics \
  -n 1 -h $SOURCE_REDIS_HOST -p $SOURCE_REDIS_PORT \
  dump ./redis-full-dump.rdb

# 将本地文件导入目标库
./riot-3.1.5/bin/riot \
  --metrics \
  restore ./redis-full-dump.rdb \
  -n 1 -h $TARGET_REDIS_HOST -p $TARGET_REDIS_PORT --user $TARGET_REDIS_USER --pass $TARGET_REDIS_PASSWORD

2. 排查特殊键类型的迁移问题 #

RIOT对部分特殊Redis类型的支持可能有遗漏，重点检查：

• 过期键：迁移过程中刚好过期的键会被跳过，可在源库用SCAN 0 MATCH * COUNT 2000结合TTL命令，统计即将过期的键数量，看是否和丢失数量匹配。
• 特殊数据类型：单独迁移Stream、GEO这类类型的键，验证是否是这类键导致的丢失：

# 仅迁移Stream类型键
./riot-3.1.5/bin/riot \
  --metrics \
  -n 1 -h $SOURCE_REDIS_HOST -p $SOURCE_REDIS_PORT \
  replicate --type stream \
  -n 1 -h $TARGET_REDIS_HOST -p $TARGET_REDIS_PORT --user $TARGET_REDIS_USER --pass $TARGET_REDIS_PASSWORD

3. 调整RIOT并发与批量参数 #

当前命令用-n 1（并发数1）效率偏低，适当提高并发和批量大小，减少网络交互损耗：

./riot-3.1.5/bin/riot \
  --metrics \
  -n 4 -h $SOURCE_REDIS_HOST -p $SOURCE_REDIS_PORT --batch 1000 \
  replicate \
  -n 4 -h $TARGET_REDIS_HOST -p $TARGET_REDIS_PORT --user $TARGET_REDIS_USER --pass $TARGET_REDIS_PASSWORD --batch 1000

注意：并发数别太高，避免压垮源库或第三方托管的目标库。

4. 开启debug日志定位问题 #

添加--log-level debug参数，查看迁移过程中是否有报错或跳过键的日志，直接定位丢失的具体键：

./riot-3.1.5/bin/riot \
  --metrics --log-level debug \
  -n 1 -h $SOURCE_REDIS_HOST -p $SOURCE_REDIS_PORT \
  replicate \
  -n 1 -h $TARGET_REDIS_HOST -p $TARGET_REDIS_PORT --user $TARGET_REDIS_USER --pass $TARGET_REDIS_PASSWORD

5. 准确统计源库与目标库的键数 #

迁移前后用SCAN统计键数（比DBSIZE更准确，避免实时变动影响）：

# 统计源库键数
redis-cli -h $SOURCE_REDIS_HOST -p $SOURCE_REDIS_PORT --scan | wc -l
# 统计目标库键数
redis-cli -h $TARGET_REDIS_HOST -p $TARGET_REDIS_PORT -u redis://$TARGET_REDIS_USER:$TARGET_REDIS_PASSWORD@$TARGET_REDIS_HOST:$TARGET_REDIS_PORT --scan | wc -l

对比差异，确认丢失的键是否属于特定前缀或类型。

内容的提问来源于stack exchange，提问作者sckdd