Redshift COPY查询挂起故障求助（仅加载类查询异常）

针对你遇到的COPY命令挂起、仅加载类查询异常的情况，可按以下步骤逐一排查：

1. 验证数据与表结构匹配性 #

• 即使之前运行正常，数据源文件可能发生格式变化（如分隔符、字段数、换行符异常），Redshift解析时可能静默阻塞而非报错。尝试：
  • 用COPY ... MANIFEST指定少量测试文件，或添加MAXERROR 1强制返回错误信息
  • 限制加载行数（如ROWS 100），排查是否为大文件中特定行导致阻塞

2. 检查集群资源状态 #

• 查询节点CPU、内存、磁盘使用率，确认是否存在后台资源占用（如自动VACUUM、统计信息更新）：

  SELECT node, cpu_usage, memory_usage, disk_used FROM stv_node_stats;
  SELECT * FROM stv_sysstat WHERE category = 'CPU';
  

• 检查当前连接数是否接近集群上限（默认500）：

  SELECT COUNT(*) FROM pg_stat_activity;
  

3. 调整COPY命令参数 #

• 跳过自动压缩与统计信息更新，避免后台操作拖慢加载：

  COPY your_target_table FROM 's3://your-file-path'
  IAM_ROLE 'arn:aws:iam::your-account-id:role/your-role'
  DELIMITER ','
  COMPUPDATE OFF
  STATUPDATE OFF;
  

• 若表有约束，添加NOCHECK_CONSTRAINTS跳过约束校验，排查是否为数据不符合约束导致阻塞

4. 排查S3端潜在问题 #

• 即使路径可访问，IAM角色权限或S3桶政策可能变更，添加DEBUG ON获取详细加载日志：

  COPY your_target_table FROM 's3://your-file-path'
  IAM_ROLE 'arn:aws:iam::your-account-id:role/your-role'
  DELIMITER ','
  DEBUG ON;
  

• 验证S3文件完整性：用aws s3 cp命令复制文件，或下载本地打开确认无损坏

5. 查看系统日志与错误记录 #

• 检查CloudWatch中的Redshift系统日志，搜索COPY相关条目，获取控制台未显示的错误信息
• 查询加载错误表，确认是否有部分错误记录：

  SELECT * FROM stl_load_errors ORDER BY starttime DESC LIMIT 10;
  

6. 重置表状态测试 #

• 创建临时表并执行COPY，验证是否为原表元数据异常：

  CREATE TEMP TABLE temp_target_table LIKE your_target_table;
  COPY temp_target_table FROM 's3://your-file-path' IAM_ROLE 'arn:aws:iam::your-account-id:role/your-role' DELIMITER ',';
  

• 若临时表加载成功，尝试对原表执行VACUUM FULL，或重新创建表结构后再加载数据

内容的提问来源于stack exchange，提问作者Hamza E. Khan