如何计算ClickHouse中Master_table过滤后指定行的占用空间

直接查询system.parts无法实现行级过滤后的空间统计，因为它仅存储整个分区的聚合统计数据，没有行级的空间明细。以下是两种可行的实现方式：

方法一：用estimateDataSize快速估算未压缩空间 #

ClickHouse自带的estimateDataSize函数能基于表的统计信息，快速算出满足过滤条件的行的未压缩数据大小。如果需要压缩后的大小，可以用全表的压缩比（总压缩大小/总未压缩大小）来估算。

示例代码：

-- 获取未压缩数据大小
SELECT formatReadableSize(estimateDataSize('你的数据库名', 'Master_table', 'unique_id = 123')) AS uncompressed_size;

-- 结合全表压缩比估算压缩后大小
WITH (
    SELECT sum(data_compressed_bytes) / sum(data_uncompressed_bytes)
    FROM system.parts
    WHERE active = 1 AND table = 'Master_table'
) AS compression_ratio
SELECT
    formatReadableSize(estimateDataSize('你的数据库名', 'Master_table', 'unique_id = 123')) AS uncompressed_size,
    formatReadableSize(estimateDataSize('你的数据库名', 'Master_table', 'unique_id = 123') * compression_ratio) AS estimated_compressed_size;

方法二：逐行计算字节数求和（精度高但效率低） #

如果需要更精准的结果，可以计算每行所有字段的总字节数，再对符合条件的行求和。这种方法适合数据量不大的场景，因为需要扫描所有满足条件的行。

示例代码：

SELECT
    formatReadableSize(sum(length(toString(*)))) AS uncompressed_size,
    -- 压缩后大小仍通过全表压缩比估算
    formatReadableSize(sum(length(toString(*))) * (
        SELECT sum(data_compressed_bytes) / sum(data_uncompressed_bytes)
        FROM system.parts
        WHERE active = 1 AND table = 'Master_table'
    )) AS estimated_compressed_size
FROM Master_table
WHERE unique_id = 123;

额外优化：若表按unique_id分区 #

要是你的表是按unique_id分区的，直接查询system.parts过滤对应分区即可，这是最准确也最高效的方式：

SELECT
    database,
    table,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size
FROM system.parts
WHERE active = 1 AND table = 'Master_table' AND partition_id = '对应unique_id的分区值'
GROUP BY database, table;

内容的提问来源于stack exchange，提问作者Shivam Roy