迁移Cassandra集群至AWS Keyspaces后，如何验证数据完整性？

一、基础元数据与统计校验 #

• 表结构对比：分别在源Cassandra集群和AWS Keyspaces执行 DESCRIBE TABLE <keyspace_name>.<table_name>，对比输出的列定义、主键结构、索引、TTL默认值、压缩策略等元数据是否完全一致。
• 行计数校验：
  • 对每张表执行 SELECT COUNT(*) FROM <keyspace_name>.<table_name>，直接对比源和目标的行数（大表可借助system.size_estimates表做估算，或用Spark等分布式工具并行统计提升效率）。
  • 若表按分区键分片，可按分区统计行数后汇总对比，比如 SELECT partition_key, COUNT(*) FROM <table_name> GROUP BY partition_key，再对比两边的分区计数结果。

二、抽样数据精准验证 #

• 随机主键查询对比：从源集群随机抽取若干主键（可借助SELECT * FROM <table_name> LIMIT N获取样本，或按Token范围抽样），分别在源和Keyspaces执行全字段查询，逐行对比字段值、TTL、写入时间戳（writetime(column)）、删除标记（tombstones）等属性是否完全一致。
• 边界场景校验：重点验证特殊数据行：
  • 主键的极值（最小/最大Token对应的行）
  • 包含空值、NULL的行
  • 大字段（如Blob、Text类型）行
  • 近期写入/更新的行
  • 带有TTL即将过期或已过期的行

三、工具化全量一致性校验 #

• Spark SQL全表对比：通过Spark连接源Cassandra和Keyspaces，编写作业执行全表字段级对比：

  // 读取源表数据
  val sourceDF = spark.read.format("org.apache.spark.sql.cassandra")
    .options(Map("table" -> "your_table", "keyspace" -> "source_ks"))
    .load()
  // 读取Keyspaces目标表数据
  val targetDF = spark.read.format("org.apache.spark.sql.cassandra")
    .options(Map("table" -> "your_table", "keyspace" -> "target_ks"))
    .load()
  // 找出两边不一致的数据行
  val diffRecords = sourceDF.except(targetDF).union(targetDF.except(sourceDF))
  // 若count为0则数据完全一致
  println(s"不一致行数: ${diffRecords.count()}")
  

• 快照导入校验：对源集群表生成快照（nodetool snapshot <keyspace>），用sstableloader将快照数据导入Keyspaces的临时测试表，对比临时表与源表的计数、抽样数据是否一致，验证迁移逻辑的正确性。
• 迁移工具自带校验：若使用AWS DMS等官方迁移工具，开启工具内置的数据校验功能，工具会自动对比源和目标数据的哈希值，输出不一致记录。

四、特殊场景专项验证 #

• 物化视图与索引：检查Keyspaces中的物化视图结构与源集群一致，执行视图查询并对比返回结果；验证二级索引的查询结果是否匹配。
• 权限与角色：对比源集群和Keyspaces的角色、权限配置，执行LIST ROLES、LIST PERMISSIONS OF <role>命令，确保权限迁移完整。
• 时间序列/分区数据：针对按时间或业务维度分区的表，按分区范围统计数据量并对比，验证各分区数据是否完整迁移。

注意事项 #

• 验证期间建议暂停源集群的写入操作，避免因实时写入导致数据不一致。
• 大表优先采用「统计校验+抽样验证」组合方式，全表对比耗时较长，可分批次执行。
• 若源表存在TTL数据，需验证Keyspaces中TTL的过期逻辑是否与开源Cassandra一致（抽样检查过期数据是否已被清理）。

内容的提问来源于stack exchange，提问作者Sripad Neelam