AWS DMS任务未将增删改同步至ElastiCache Redis集群求助

一、控制变更应用的核心配置项 #

• ErrorBehavior 模块的应用错误策略：
  • 你当前配置中ApplyErrorDeletePolicy设为IGNORE_RECORD，意味着所有删除类变更会被直接忽略，不会同步到Redis；
  • ApplyErrorUpdatePolicy和ApplyErrorInsertPolicy配置为LOG_ERROR，如果更新/插入操作出现应用错误，只会记录日志但不会终止任务，若错误持续会导致这类变更无法落地。
• ChangeProcessingTuning 模块的事务处理配置：
  • BatchApplyPreserveTransaction设为true会严格保持源端事务的一致性，若事务中某条记录应用失败，整个事务的所有变更都不会同步到Redis；
  • MinTransactionSize设为1000，小事务会被合并处理，若合并后的事务存在问题，会导致一批变更无法落地。
• TargetMetadata 模块的并行应用配置：
  • ParallelApplyThreads设为0，关闭了并行应用能力，可能导致变更堆积无法及时写入Redis；
  • BatchApplyEnabled为false，关闭了批量应用模式，单条记录处理效率低下也可能引发同步延迟。

二、针对当前问题的排查建议 #

1. 查看CloudWatch日志中TARGET_APPLY组件的详细日志，定位应用阶段是否存在具体错误（比如Redis连接超时、数据格式不兼容、权限不足等）；
2. 临时将ApplyErrorDeletePolicy调整为LOG_ERROR，执行删除操作后检查日志，确认是否是删除操作被忽略导致的“未应用”感知；
3. 开启BatchApplyEnabled并将ParallelApplyThreads设置为2-4，提升应用阶段的处理能力，排查是否是性能瓶颈导致变更堆积；
4. 验证Redis端配置：确认DMS复制实例拥有Redis的写入权限，检查Redis内存使用率是否过高（内存满会拒绝写入操作）。

内容的提问来源于stack exchange，提问作者Sergey