如何验证Cassandra表中插入的总行数及数据有效性？

先理清核心概念差异 #

你的表主键为((column1, column2), forecastdate)，其中(column1, column2)是分区键，forecastdate是集群列：

• nodetool cfstats里的Number of Keys (estimated)是分区键的估计数量，不是总行数，和你要验证的10000条记录不是同一维度。
• Cassandra的select count(*)是全表扫描，会统计包括墓碑、旧数据版本在内的所有条目，结果极不准确，尤其是表有一定规模后，这就是你得到2109761这个异常数值的原因。

针对迁移场景的验证方案 #

1. 按分区键统计精确总行数 #

因为你迁移的数据量不大（10000条），可以通过统计每个分区下的行数再求和，得到精确总行数：

SELECT column1, column2, COUNT(forecastdate) FROM table_name GROUP BY column1, column2;

把所有分区的COUNT结果相加，就是实际的总行数。

2. 抽样对比源端与目标端数据 #

从源Cassandra 1.0.12中随机选取若干分区（比如10个），查询该分区下的全部数据，再到目标3.x集群执行相同查询，逐行对比字段值和行数，确保数据没有丢失或篡改：

-- 源端和目标端都执行该查询，替换占位符为实际分区键值
SELECT * FROM table_name WHERE column1 = 'xxx' AND column2 = 'yyy';

3. 用Spark做精确计数（适合大规模数据） #

如果后续迁移更大规模数据，可以借助Spark Cassandra Connector实现高效精确计数：

import com.datastax.spark.connector._

val spark = org.apache.spark.sql.SparkSession.builder()
  .appName("CassandraExactCount")
  .config("spark.cassandra.connection.host", "your-cassandra-host-ip")
  .getOrCreate()

val exactRowCount = spark.read.format("org.apache.spark.sql.cassandra")
  .options(Map("table" -> "table_name", "keyspace" -> "your_keyspace_name"))
  .load()
  .count()

println(s"精确总行数: $exactRowCount")

Spark会并行扫描所有节点数据，性能远优于原生CQL的count(*)。

4. 排查迁移程序是否重复写入 #

检查Java迁移程序的日志，确认是否存在重试逻辑导致的重复写入。Cassandra基于最后写入胜出（LWW）规则，同一行多次写入只会保留最新版本，但未被压缩清理的旧版本会被count(*)统计，这也可能导致数值异常。

5. 查看SSTable的精确统计 #

先执行nodetool flush把内存中的Memtable刷入磁盘，再用sstablemetadata工具查看每个SSTable的精确行数：

sstablemetadata /var/lib/cassandra/data/your_keyspace/table_name/*.db

工具会输出每个SSTable的Number of partitions和Number of rows，把所有SSTable的行数相加，就能得到磁盘上的精确总行数。

内容的提问来源于stack exchange，提问作者Zen