如何估算精简列与时间范围后的表大小？建临时表超时求助

一、大小估算方法 #

不用直接建全量临时表，用以下轻量方式快速估算：

1. 利用数据库统计信息（最快） #

多数数仓（如BigQuery、Snowflake、Spark SQL）会自动记录列级存储统计数据，执行类似查询获取目标列的总存储占比：

-- 以Snowflake为例，查询列存储详情
SELECT COLUMN_NAME, BYTES
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_NAME = '你的表名' AND TABLE_SCHEMA = '你的Schema';

把15个目标列的BYTES数值求和，得到这15列在5年数据中的总大小，再乘以2/5（仅保留最近2年），就能得到大致估算值。若没有列级统计，可先查单时间分区的列大小再外推到全量2年数据。

2. 抽样估算（误差可控） #

如果没有统计信息，抽取最近2年数据的小样本计算比例：

-- 抽取最近2年中1%的样本，计算15列的存储大小
SELECT SUM(BYTES) AS sample_total_size
FROM (
  SELECT TO_HEX(MD5(CAST(主键列 AS STRING))) AS hash_key,
         目标列1, 目标列2, ..., 目标列15
  FROM 你的表名
  WHERE 时间列 >= DATE_SUB(CURRENT_DATE(), INTERVAL 2 YEAR)
) t
WHERE MOD(CAST(CONV(SUBSTR(hash_key, 1, 8), 16, 10) AS INT), 100) = 0;

将sample_total_size乘以100，就是15列最近2年数据的大致总大小，误差通常在10%以内，足够参考。

3. 简单比例估算（快速参考） #

假设600列的存储分布相对均匀（若目标列是大字段如JSON、长字符串则需调整），15列占比为15/600 = 2.5%；最近2年占5年数据的40%。估算大小为：
10TB * 2.5% * 40% = 0.1TB = 100GB

二、解决建表超时的方案 #

你遇到的Results have expired是因为全量查询超时，试试这些优化方法：

1. 分批插入 #

不要一次性全量插入，按时间分片分批执行：

-- 按季度分批插入临时表
INSERT INTO 临时表名 (目标列1, ..., 目标列15)
SELECT 目标列1, ..., 目标列15
FROM 你的表名
WHERE 时间列 BETWEEN '2022-01-01' AND '2022-03-31';

-- 依次执行后续季度，覆盖最近2年所有数据

2. 使用CTAS加分区优化 #

用CREATE TABLE AS SELECT（CTAS）直接建表，并指定时间列为分区键，让数据库自动并行处理：

CREATE TABLE 新表名
PARTITION BY 时间列
AS SELECT 目标列1, ..., 目标列15
FROM 你的表名
WHERE 时间列 >= DATE_SUB(CURRENT_DATE(), INTERVAL 2 YEAR);

多数数仓会对CTAS做专属优化，比先建表再插入效率高很多。

3. 调整会话超时参数 #

如果有权限，修改当前会话的查询超时时间（以BigQuery为例）：

SET query_timeout = 3600000; -- 单位毫秒，设置为1小时

给足查询运行时间后再执行建表操作。

内容的提问来源于stack exchange，提问作者Passive_coder