从S3复制JSON文件到Redshift Serverless超时，如何排查根因？

S3侧问题排查 #

• 确认目标S3路径文件状态：检查s3://my-bucket/song_data/A/A/A/下的文件数量、大小是否和之前一致，是否存在损坏文件、大文件或大量隐藏文件（如.tmp、$folder$）
• 验证IAM角色访问权限：手动使用该Redshift服务角色的临时凭证，尝试列出、下载S3路径下的文件，确认权限未被变更（比如桶政策、角色信任关系修改）
• 核对区域匹配性：确认S3桶与Redshift集群是否在同一区域，跨区域数据传输会大幅降低速度
• 检查S3访问日志：若桶开启了访问日志，查看Redshift角色访问时的请求状态、延迟情况

Redshift集群状态排查 #

• 查看节点资源占用：通过可用的系统表（如stv_sessions、stv_node_utilization）检查集群节点的CPU、内存、磁盘使用率，确认是否有后台任务（如VACUUM、ANALYZE）占用资源
• 验证网络配置：检查集群所在VPC的安全组、网络ACL是否限制了与S3的流量；若使用VPC端点，确认端点状态正常、无带宽瓶颈
• 查看集群版本历史：确认AWS是否自动对Redshift进行了版本升级，部分版本可能存在COPY性能问题

COPY命令细节排查 #

• 测试简化执行：尝试复制单个文件，或移除MAXERROR 1参数，排查是否存在特定文件格式错误导致的重试耗时
• 确认JSON结构：检查目标JSON文件的结构是否有变更（如嵌套层级、字段类型变化），JSON 'auto'自动推断结构时可能出现异常耗时
• 添加明确区域参数：在COPY命令中加入REGION 'your-bucket-region'，避免Redshift自动检测区域时的延迟

额外排查方向 #

• 查看AWS服务状态：确认对应区域的Redshift、S3服务是否存在性能告警或故障
• 非高峰期测试：在业务低峰时段执行该COPY命令，排除集群资源被其他业务抢占的可能

内容的提问来源于stack exchange，提问作者gebbissimo