如何查询Stage存储占用并识别需要清理的内部/用户/表阶段文件
查询各Stage具体存储使用情况的可行方案
方法1:LIST命令+结果聚合(全场景适用,精度最高)
LIST命令可以返回指定Stage下所有文件的名称、大小、最后修改时间等信息,直接聚合大小字段即可得到当前Stage的真实存储占用,不受日均值统计的时间差影响。
示例操作步骤:
- 列出指定Stage的所有文件:
-- 内部命名Stage LIST @[你的Stage名称]; -- 表Stage LIST @%[你的表名]; -- 当前用户Stage LIST @~;
- 对上一步的查询结果做聚合,直接得到总存储量:
SELECT SUM($2) AS total_storage_bytes, ROUND(SUM($2)/1024/1024/1024, 4) AS total_storage_gb FROM TABLE(RESULT_SCAN(LAST_QUERY_ID()));
注意:如果Stage下文件数量超过10万,该方法执行耗时会较长,推荐优先使用方法2的元数据查询。
方法2:元数据视图查询(适合批量排查,效率更高)
通过系统自带的元数据视图可以一次性拉取全账号所有类型Stage的存储占用,无需逐个查询单个Stage。
查询所有内部命名Stage
SELECT STAGE_SCHEMA, STAGE_NAME, STAGE_OWNER, STAGE_BYTES, ROUND(STAGE_BYTES/1024/1024/1024, 4) AS STORAGE_GB FROM INFORMATION_SCHEMA.STAGES WHERE STAGE_TYPE = 'INTERNAL' ORDER BY STAGE_BYTES DESC;
查询所有表Stage
SELECT TABLE_CATALOG, TABLE_SCHEMA, TABLE_NAME, STAGE_BYTES, ROUND(STAGE_BYTES/1024/1024/1024, 4) AS STORAGE_GB FROM INFORMATION_SCHEMA.TABLE_STORAGE_METRICS WHERE STAGE_BYTES > 0 ORDER BY STAGE_BYTES DESC;
查询所有用户Stage
SELECT USER_NAME, STAGE_BYTES, ROUND(STAGE_BYTES/1024/1024/1024, 4) AS STORAGE_GB FROM ACCOUNT_USAGE.USERS WHERE STAGE_BYTES > 0 ORDER BY STAGE_BYTES DESC;
冗余文件清理提示
- 确认文件已完成数据加载后,可以使用
REMOVE @[Stage名称]命令直接清理,也可加PATTERN参数匹配指定后缀/时间范围的文件 - 可在创建Stage时配置生命周期规则,自动清理指定天数前的历史文件,避免冗余堆积
内容的提问来源于stack exchange,提问作者demircioglu
相关产品推荐
相关产品推荐

