如何通过Terraform清理helm_release销毁后遗留的K8s资源

针对你遇到的kube-prometheus-stack销毁后残留资源的问题，以下是几个不依赖Terraform Cloud的Terraform原生解决方案：

方案1：用null_resource绑定销毁动作，执行kubectl清理标签资源 #

通过null_resource配合local-exec provisioner，关联helm_release的生命周期，仅在销毁阶段执行kubectl命令清理指定标签的资源。

resource "helm_release" "kube_prometheus_stack" {
  name       = "kube-prometheus-stack"
  repository = "https://prometheus-community.github.io/helm-charts"
  chart      = "kube-prometheus-stack"
  namespace  = "monitoring"
  # 此处添加你的Chart配置参数
}

resource "null_resource" "cleanup_prometheus_resources" {
  # 通过triggers绑定helm_release的唯一标识，确保资源状态同步
  triggers = {
    helm_release_id = helm_release.kube_prometheus_stack.id
  }

  # 确保helm_release先完成卸载，再执行清理操作
  depends_on = [helm_release.kube_prometheus_stack]

  provisioner "local-exec" {
    # 仅在销毁阶段触发
    when        = destroy
    # 清理指定命名空间下，带有release标签的所有常见资源
    command     = "kubectl delete all,configmaps,secrets,ingresses,persistentvolumeclaims -n ${helm_release.kube_prometheus_stack.namespace} -l release=${helm_release.kube_prometheus_stack.name}"
  }
}

说明 #

• 命令中的资源类型可根据实际残留情况调整（比如添加customresourcedefinitions，如果CRD也有残留）
• 确保执行Terraform的环境已配置正确的K8s上下文，且拥有对应资源的删除权限

方案2：销毁整个专属命名空间（推荐） #

如果monitoring命名空间仅用于部署kube-prometheus-stack，直接通过Terraform管理命名空间的生命周期，销毁时删除整个命名空间，K8s会自动清理其中所有资源。

resource "kubernetes_namespace" "monitoring" {
  metadata {
    name = "monitoring"
  }
}

resource "helm_release" "kube_prometheus_stack" {
  name       = "kube-prometheus-stack"
  repository = "https://prometheus-community.github.io/helm-charts"
  chart      = "kube-prometheus-stack"
  namespace  = kubernetes_namespace.monitoring.metadata[0].name
  # 此处添加你的Chart配置参数
  depends_on = [kubernetes_namespace.monitoring]
}

说明 #

• 此方案最彻底，无需单独处理各类资源的残留问题
• 必须确保该命名空间无其他需保留的业务资源

方案3：自定义Helm Post-Delete钩子（备选） #

若允许调整Chart配置，可在helm_release中添加Post-Delete钩子，让Helm在卸载完成后执行清理命令。

resource "helm_release" "kube_prometheus_stack" {
  # 其他基础配置...
  set {
    name  = "hooks.postDelete[0].name"
    value = "cleanup-resources"
  }
  set {
    name  = "hooks.postDelete[0].command"
    value = "kubectl delete all -n {{ .Release.Namespace }} -l release={{ .Release.Name }}"
  }
  set {
    name  = "hooks.postDelete[0].args[0]"
    value = "--ignore-not-found=true"
  }
}

说明 #

• 需确认Chart支持自定义钩子配置，部分官方Chart可能有现成的清理参数可直接启用

内容的提问来源于stack exchange，提问作者Bertone