升级DSE 6.8.25后Cassandra跨数据中心复制丢失列值求助

根本原因 #

这个问题是DSE 6.8.25版本跨数据中心复制（CDR）模块的已知缺陷：

• 当源数据中心执行行部分更新操作（仅修改非主键列）时，目标DC的同步逻辑处理异常，没有正确应用更新内容，反而将所有非主键列置为null；
• 升级过程中如果CDR元数据未完全同步，也会触发该问题。

Reaper能够解决问题，是因为它会从源DC拉取完整的行数据，覆盖目标DC中损坏的记录，本质是完成了一次针对损坏分区的全量修复同步。

彻底修复方案 #

1. 先确认问题范围 #

• 执行CQL查询验证目标DC的损坏记录：

  SELECT partition_col, cluster_col, other_col1, other_col2 FROM keyspace.target_table WHERE partition_col = 'xxx';
  

  确认仅非主键列为null，且源DC对应行数据完整正常。
• 用nodetool tablestats keyspace.target_table检查目标DC表的同步状态，确认存在异常的同步延迟。

2. 临时快速修复 #

• 使用Reaper针对有问题的keyspace或table创建修复任务，设置修复范围为目标DC，确保所有损坏分区被覆盖。

3. 根源性解决（避免复发） #

• 升级至DSE 6.8.26及以上版本：官方在该后续版本中修复了CDR模块处理部分更新的逻辑缺陷，从根本上杜绝该问题；
• 验证CDR配置：确认集群使用NetworkTopologyStrategy，且两个DC的复制因子配置符合业务需求；
• 升级后全量修复：对所有涉及的keyspace/table执行一次全量修复，覆盖历史损坏记录，同步所有遗漏的更新；
• 监控同步状态：定期用nodetool status、nodetool describecluster确认集群健康状态，用nodetool proxyhistograms监控跨DC同步延迟，及时发现异常。

注意事项 #

• 升级和修复期间，尽量减少源DC的部分更新操作，避免产生新的损坏记录；
• 修复前备份目标DC的关键数据，防止操作失误导致数据丢失。

内容的提问来源于stack exchange，提问作者Anatoliy Nikulin