如何获取Cassandra指定表已写入数据的精确磁盘占用空间
Cassandra 写入后磁盘占用核对实操方案
核心现象原理说明
Cassandra 采用 LSM 树存储架构,写入流程为先写CommitLog(用于故障恢复),再写内存中的MemTable,只有当 MemTable 达到预设阈值时,才会批量落盘为 SSTable 文件存入 data 目录,因此刚执行完写入操作直接查 data 目录看不到变化属于正常设计,不是数据丢失。
观测到的 32768KB 大小的 CommitLog,是默认配置下的预分配段大小,并非实际存储的未落盘数据量:Cassandra 默认将单个 CommitLog 段大小设为 32MB,哪怕段内仅写入 1KB 数据,文件也会预占 32MB 磁盘空间,当段内对应的所有数据都已经落盘为 SSTable 后,该段会被自动删除复用。
强制刷写数据落盘的操作
不需要靠重启服务触发数据落盘,Cassandra 提供了官方的手动刷写命令,可将指定表所有内存中的有效数据立刻落盘为 SSTable,无数据丢失风险:
- 执行命令:
nodetool flush <你的keyspace名称> <你的表名称> - 命令执行完成后,对应 keyspace/表 的 data 目录下会生成完整的 SSTable 文件,此时再统计的目录大小才是真实的落盘数据大小。
data 目录仅为 KB 级的排查方向
- 先确认实际写入行数是否符合预期:进入
cqlsh执行SELECT COUNT(*) FROM <keyspace名称>.<表名称>;,如果实际返回的行数远低于预期的“海量”级别,说明写入逻辑本身存在问题,自然落盘后体积很小。 - 压缩机制的正常影响:Cassandra 默认开启 LZ4 压缩,常规文本/数字类数据的压缩率在 20%~30% 左右,即 10MB 原始数据落盘后仅占 2~3MB 磁盘空间,不会出现极端比例的压缩。
- 之前重启触发的刷写仅会落盘当时内存中存在的 MemTable 数据,如果写入量本身没超过 MemTable 的默认阈值(默认单表 MemTable 阈值为 150MB),且实际写入的总数据量本身较小,落盘后仅为 KB 级是符合预期的。
准确统计指定表磁盘占用的方法
不要直接用 du 命令统计文件夹大小,因为会包含临时文件、删除标记等非有效数据,推荐用 Cassandra 自带的统计命令拿精准值:
- 执行命令:
nodetool tablestats <keyspace名称>.<表名称> - 输出中的
Space used (total)项即为该表实际占用的磁盘空间,包含压缩后的 SSTable、索引及必要的开销;如果开了压缩,还能看到Compression ratio项直接查询当前压缩比例。
注意事项
- 不要依赖重启服务触发数据刷写:重启不仅会影响服务可用性,还可能触发额外的集群协调开销,手动
nodetool flush是官方推荐的批量落盘方式。 - CommitLog 大小是预分配值,不要以此判断未落盘的数据量,实际未落盘的数据量可通过
nodetool compactionstats查看待刷写的 MemTable 大小。
内容的提问来源于stack exchange,提问作者Madhusudan
相关产品推荐
相关产品推荐

