Terraform部署AWS Glue Job时插件崩溃问题求助

从错误栈跟踪可以明确：崩溃根源是AWS Provider在处理aws_glue_catalog_database资源的principal_permissions配置时，遇到了空值转换错误——尽管错误提示指向aws_glue_job，但实际是关联的Glue Catalog Database配置存在问题。以下是可行的解决步骤：

1. 检查并修复aws_glue_catalog_database的权限配置 #

• 定位所有aws_glue_catalog_database资源，确保principal_permissions块的子字段无空值或格式错误：
  • 禁止出现空的principal {}块或未赋值的permissions字段
  • 确保principal块内的data_lake_principal_identifier是有效的ARN或标识符
  • 示例正确配置：

    resource "aws_glue_catalog_database" "example" {
      name = "example-db"
    
      principal_permissions {
        permissions = ["SELECT", "ALTER"]
        principal {
          data_lake_principal_identifier = "arn:aws:iam::123456789012:user/example"
        }
      }
    }
    

2. 排查动态生成权限块的逻辑 #

如果使用for_each或动态块生成principal_permissions：

• 确保循环的数据源/变量不为空，避免生成空的权限块
• 添加条件判断，当无权限配置时跳过渲染该块，示例：

  dynamic "principal_permissions" {
    for_each = var.database_permissions != [] ? var.database_permissions : []
    content {
      permissions = principal_permissions.value.permissions
      principal {
        data_lake_principal_identifier = principal_permissions.value.principal_arn
      }
    }
  }
  

3. 清理无效的Terraform状态（谨慎操作） #

如果状态文件残留了之前部署的无效资源数据：

1. 执行terraform state list找到目标aws_glue_catalog_database资源的地址
2. 执行terraform state rm <resource_address>移除错误状态
3. 重新执行terraform init和terraform apply

4. 针对性调整Provider版本 #

尽管你已更换过版本，可尝试：

• 切换到AWS Provider v5.30.0~v5.45.0之间的版本，避开可能存在bug的特定版本
• 确保Terraform核心版本与Provider版本兼容（如Terraform 1.5+搭配AWS Provider v5.x）

内容的提问来源于stack exchange，提问作者Rupesh Jadhav