无法删除Redshift自动复制作业：元数据获取失败报错

问题详情 #

• 通过Terraform的aws_redshiftdata_statement资源执行以下SQL创建自动复制作业：

COPY public.test_table
FROM 's3://<s3_bucket>/<table_prefix>'
IAM_ROLE '...'
FORMAT AS CSV
IGNOREHEADER 1
JOB CREATE copy_test_delete_me AUTO ON ;

• 作业可正常运行并完成数据复制，但执行删除命令时触发错误：
  删除命令：

  COPY JOB DROP copy_test_delete_me;
  

  报错信息：

  SQL Error [XX000]: ERROR: Auto copy job failed to fetch underlying metadata.

• 手动创建的同类自动复制作业可正常删除，仅Terraform创建的作业出现该问题。

排查与解决办法 #

1. 统一会话/权限上下文 #

Terraform的aws_redshiftdata_statement执行SQL时，可能使用了与手动操作不同的数据库、用户或权限上下文，导致删除时无法读取作业元数据。

• 确保删除作业的Terraform语句使用与创建作业完全相同的数据库、schema和执行用户配置。

2. 检查元数据读取权限 #

删除自动复制作业需要读取Redshift系统元数据，Terraform使用的执行角色/用户可能缺少相关权限：

• 给执行用户添加SELECT ON pg_catalog.stv_auto_copy的权限，确保能读取自动复制作业的元数据：

  GRANT SELECT ON pg_catalog.stv_auto_copy TO your_terraform_user;
  

3. 确保元数据完全落地 #

Terraform可能在作业元数据未完全写入Redshift系统表时就触发删除操作，导致元数据读取失败：

• 在Terraform中添加等待逻辑，比如使用time_sleep资源等待30秒（根据实际情况调整），确保作业元数据完全生成后再执行删除：

  resource "time_sleep" "wait_for_job_metadata" {
    create_duration = "30s"
    depends_on = [aws_redshiftdata_statement.create_copy_job]
  }
  
  resource "aws_redshiftdata_statement" "drop_copy_job" {
    database = aws_redshiftdata_statement.create_copy_job.database
    sql      = "COPY JOB DROP copy_test_delete_me;"
    depends_on = [time_sleep.wait_for_job_metadata]
  }
  

4. 显式指定作业的Schema #

删除作业时显式指定schema，避免上下文匹配错误：

COPY JOB DROP public.copy_test_delete_me;

内容的提问来源于stack exchange，提问作者TobyStack