AWS Redshift查询出现100MB结果限制报错是什么原因?
Redshift查询100MB结果上限原因说明
你遇到的100MB限制不是Redshift集群本身的查询处理限制,而是你使用的**Redshift网页端查询编辑器(Query Editor v2)**的工具侧限制,和你所使用的ra3.xplus集群规格、Redshift本身的大数据处理能力无关。
Redshift本身确实支持PB级历史数据的存储、计算和分析,能够处理超大规模的数据集运算,但网页端查询编辑器作为面向开发调试、轻量查询场景的工具,为了避免浏览器内存占用过高、页面卡顿崩溃,才设置了单条查询返回压缩后结果不超过100MB的上限,这个限制仅作用于查询编辑器工具的结果返回环节,不代表Redshift集群本身的处理上限。
解决方案
- 若你需要导出全量大结果集,可替换网页端查询编辑器,使用JDBC/ODBC驱动连接的本地客户端(如SQL Workbench/J、psql等)执行查询,或直接使用Redshift的
UNLOAD命令将查询结果直接导出到S3存储桶,UNLOAD无100MB结果大小限制,支持TB级结果集导出。 - 若你仅需要查看部分结果验证查询逻辑,可在查询语句中增加
LIMIT限制返回行数,或仅查询你需要的字段、避免使用SELECT *拉取全量字段,降低返回结果集的大小即可适配查询编辑器的限制。
你收到的报错内容对应:
the query result is 105488469 bytes after compression which exceeds the maximum size limit (100 MB)
内容的提问来源于stack exchange,提问作者prathik vijaykumar
相关产品推荐
相关产品推荐

