如何运行大体积Redshift查询？解决执行大小限制报错问题

方案1：通过S3存储执行大SQL脚本 #

Redshift客户端工具（包括aws redshift-data和Query Editor v2）对直接传递的SQL字符串有严格大小限制，但可以让Redshift直接从S3读取脚本执行，绕过客户端限制：

1. 将10MB的SQL文件上传到AWS S3存储桶，确保Redshift集群通过关联的IAM角色拥有该S3路径的只读权限。
2. 在Redshift中执行以下SQL调用S3脚本：

EXECUTE SCRIPT FROM 's3://your-bucket-name/path/to/your/file.txt' 
IAM_ROLE 'arn:aws:iam::your-account-id:role/your-redshift-iam-role';

该方式支持的脚本大小上限符合Redshift官方15MB的查询限制。

方案2：使用psql客户端直接执行大文件 #

psql作为Redshift兼容的客户端，采用流式传输SQL内容，无aws redshift-data的100KB字符串限制：

1. 确保本地已安装psql工具。
2. 执行以下命令连接Redshift并执行本地大文件：

psql -h your-redshift-cluster-endpoint -U your-username -d your-db-name -f ./file.txt

方案3：拆分大查询为多个小查询执行 #

若上述方法不可用，可将10MB的SQL文件按逻辑模块拆分为多个独立小文件，通过脚本循环调用aws redshift-data execute-query逐个执行：
示例bash脚本：

for file in ./split-queries/*.sql; do
  aws redshift-data execute-query \
    --cluster-identifier your-cluster-id \
    --database your-db-name \
    --db-user your-username \
    --sql file://$file
done

拆分时需保证每个小查询逻辑独立，避免因执行顺序导致数据异常。

内容的提问来源于stack exchange，提问作者user433342