如何借助Aginity Workbench for Redshift突破10万条限制，导出40万+数据至Excel

刚好之前我在处理Redshift大数据导出的时候也碰到过这个限制，结合你用的Aginity Workbench，给你几个实用的方案：

方案一：分批查询导出后合并Excel（最直接） #

Redshift的单批次10万条限制是针对单次查询结果的，所以我们可以用分页查询拆分数据，分批导出后再用Excel合并。

两种分页方式： #

1. OFFSET + LIMIT（简单但大偏移量性能一般）
   每次查询取10万条，逐步偏移起始位置：

   -- 第1批：前10万条
   SELECT * FROM your_target_table LIMIT 100000 OFFSET 0;
   
   -- 第2批：第100001-200000条
   SELECT * FROM your_target_table LIMIT 100000 OFFSET 100000;
   
   -- 第3批：第200001-300000条，以此类推直到取完所有数据
   SELECT * FROM your_target_table LIMIT 100000 OFFSET 200000;
   

   每运行一次查询，就用Aginity的「Export Results」导出成单独的Excel文件，最后打开所有Excel，把数据复制粘贴到同一个工作表里（注意保留表头，只复制后续批次的内容）。

2. 范围查询（更高效，推荐）
   如果你的表有唯一递增键（比如id、created_at这类有序字段），用范围过滤代替OFFSET，性能会好很多（Redshift不用扫描前面所有偏移的数据）：

   -- 第1批
   SELECT * FROM your_target_table WHERE id <= 100000;
   
   -- 第2批
   SELECT * FROM your_target_table WHERE id > 100000 AND id <= 200000;
   
   -- 后续批次依此类推，直到查询返回空结果说明数据取完
   

   同样分批导出后合并即可。

方案二：导出为CSV后转Excel（更省心） #

Excel对CSV的支持更好，而且Aginity导出CSV也很方便，你可以：

• 用分页查询把每批数据导出为CSV文件（每批10万条）
• 用文本编辑器（比如Notepad++）把所有CSV文件合并成一个大CSV（注意只保留第一个文件的表头，其他文件去掉表头再合并）
• 直接用Excel打开这个大CSV，保存为Excel格式即可（40万条数据在新版Excel的行限制内，完全没问题）

方案三：利用Aginity的脚本自动化（进阶） #

如果你不想手动跑多次查询，可以用Aginity的脚本功能编写循环逻辑，自动分批导出。比如用Aginity的SQL脚本结合变量：

DECLARE @offset INT = 0;
DECLARE @batch_size INT = 100000;

WHILE EXISTS (SELECT 1 FROM your_target_table LIMIT 1 OFFSET @offset)
BEGIN
   -- 执行分页查询，可结合Aginity导出命令自动保存结果
   SELECT * FROM your_target_table LIMIT @batch_size OFFSET @offset;
   SET @offset = @offset + @batch_size;
END

不过要注意Aginity的脚本执行导出需要配置好导出路径，具体可以参考Aginity内置帮助，这个方法能减少手动重复操作。

额外提醒 #

• 如果你导出的数据包含特殊字符（比如逗号、换行符），导出CSV的时候记得设置正确的分隔符和引号规则，避免数据错乱
• 合并Excel时，建议用「数据」选项卡的「获取外部数据」功能导入多个文件，比手动复制粘贴更高效

内容的提问来源于stack exchange，提问作者aman gupta