Cassandra如何获取指定行/列大小？Astra CQL环境适用方法

工具能力边界 #

• nodetool类运维工具的统计粒度最低到分区级（即同一个分区键对应的所有数据，包含该键下所有聚类键的全部行列内容），无法直接获取单个聚类键对应的单行片段、单个列的精确存储大小。
• 你提供的nodetool cfstats mykeyspace.series输出已经包含了该表的分区级聚合统计：

  对应series表核心统计值：

  • 活SSTable总磁盘占用：约16.7GB（17919747207字节）
  • SSTable压缩比：0.1389（原始数据压缩后为原大小的13.89%）
  • 压缩后分区大小范围：最小36字节、最大约13.86MB、平均约607KB
  • 预估分区总数：177144个

• 其他nodetool子命令比如toppartitions可以采样热点分区的大小，但需要节点SSH访问权限，托管版的Astra Cassandra不提供这类权限，根本无法使用。就算有节点权限，这类命令也拿不到分区内部单行、单列的大小。

仅CQL控制台可用的查询方案 #

Astra Cassandra仅开放CQL访问时，可以用以下方法获取对应数据的大小，精度足够满足开发、容量规划需求：

• 单个列的精确未压缩大小
  直接用内置LENGTH()函数查询指定列的字节长度即可，示例：

  -- 查询指定分区键+聚类键下content列的原始字节长度
  SELECT LENGTH(content) FROM mykeyspace.series 
  WHERE partition_key = '目标分区键值' AND clustering_key = '目标聚类键值';
  

  返回值是列值的原始未压缩长度，实际落盘的压缩后大小可以乘之前拿到的压缩比0.1389做估算。
• 指定分区的大小估算
  分区大小的预估算值存在系统表中，直接查询即可拿到和cfstats同源的估算结果，不需要额外权限：

  SELECT mean_partition_size, partitions_count
  FROM system.size_estimates
  WHERE keyspace_name = 'mykeyspace' AND table_name = 'series';
  

  查询结果按token区间分段给出平均分区大小，把目标分区键算成token后匹配对应区间，就能拿到该分区的估算大小，误差通常在10%以内。
• 指定聚类键对应单行的原始大小
  没有内置函数可以直接返回整行大小，可以通过累加所有列的长度计算：

  SELECT 
    LENGTH(col1) + LENGTH(col2) + LENGTH(col3) -- 累加所有非主键列长度
    + LENGTH(partition_key) + LENGTH(clustering_key) -- 主键列同样占用存储，需要计入
  FROM mykeyspace.series
  WHERE partition_key = '目标分区键值' AND clustering_key = '目标聚类键值';
  

  计算结果为该行的未压缩原始总大小，落盘压缩后大小同样乘压缩比估算即可。

注意事项 #

• 以上CQL计算得到的都是未压缩的原始数据大小，实际磁盘占用还要算上SSTable压缩、BloomFilter、索引、压缩元数据的开销，这类元数据总占比通常在全表大小的5%以内，结合压缩比计算出的结果和真实磁盘占用偏差很小。
• 不要通过全表扫描累加所有列LENGTH()的方式计算全表大小，会触发全表读导致集群压力过高，全表磁盘占用直接看cfstats返回的Space used (live)值即可。
• Astra Cassandra作为托管服务不会开放节点级运维权限，无法获取单条数据的精确到字节的磁盘占用值，上述估算方法已经可以覆盖99%以上的开发、排障、容量规划场景。

内容的提问来源于stack exchange，提问作者R13mus