Terraform Test中日志巡检的最佳实践探讨

我正在使用Terraform Test为Cloud Run方案实现端到端测试，预期流程为：上传文件至存储桶触发Pub/Sub消息，进而触发Cloud Run Service。我们的Cloud Run镜像会对Pub/Sub请求返回200响应，该响应会体现在日志中，因此我希望编写测试来检查日志中是否存在该响应。

目前我在/tests/setup中创建所有待测试资源，包括日志指标和告警策略，代码如下：

resource "google_monitoring_alert_policy" "successful_200_response" {
  project      = "wrk-ir1-prd-wrk02-svp-90548"
  display_name = "successful_200_response"
  combiner     = "OR"
  conditions {
    display_name = "Cloud Run 200 Responses Condition"
    condition_threshold {
      filter          = <<EOF
metric.type="logging.googleapis.com/user/cloud-run-200-responses" AND resource.type="cloud_run_revision"
EOF
      comparison      = "COMPARISON_GT"
      threshold_value = 0
      duration        = "60s"
      aggregations {
        alignment_period     = "60s"
        per_series_aligner   = "ALIGN_RATE"
        cross_series_reducer = "REDUCE_SUM"
      }
    }
  }
}

随后运行e2e-tests.tftest.hcl文件：

run "e2e_tests" {
  module {
    source = "./tests/setup"
  }
  assert {
    condition     = google_monitoring_alert_policy.successful_200_response.conditions[0].condition_threshold[0].threshold_value > 0
    error_message = "No 200 HTTP response from Cloud Run on pubsub trigger"
  }
}

这种方式需要创建日志和监控资源，操作繁琐；且日志指标需提前创建（耗时可达10分钟），要么大幅拖慢流水线，要么测试依赖状态文件外的资源，两种结果都不理想。

请问在Terraform Test中检查日志是否有更优方案？是否存在更好的测试方法？

方案1：直接调用gcloud CLI查询日志 #

无需创建额外监控资源，直接在Terraform Test中通过external数据源调用gcloud命令查询目标日志，步骤如下：

1. 在测试模块中添加日志查询的external数据源：

data "external" "cloud_run_200_logs" {
  program = ["bash", "-c", <<EOF
gcloud logging read 'resource.type="cloud_run_revision" AND jsonPayload.status=200 AND timestamp>="$(date -d "-2 minutes" --iso-8601=seconds)"' --project=wrk-ir1-prd-wrk02-svp-90548 --format="value(jsonPayload.status)" | head -1
EOF
  ]
}

2. 在测试断言中验证查询结果：

run "e2e_tests" {
  module {
    source = "./tests/setup"
  }

  assert {
    condition     = data.external.cloud_run_200_logs.result != ""
    error_message = "No 200 HTTP response found in Cloud Run logs"
  }
}

注意：需确保测试环境已配置gcloud CLI并拥有日志查询权限，可根据实际情况调整时间范围适配日志生成延迟。

方案2：使用Google Provider内置日志数据源 #

利用Google Terraform Provider提供的google_logging_log_entry数据源，直接在Terraform中声明式查询日志，无需依赖外部CLI：

1. 在测试模块中定义日志查询数据源：

data "google_logging_log_entry" "cloud_run_200_response" {
  project = "wrk-ir1-prd-wrk02-svp-90548"
  filter  = <<EOF
resource.type="cloud_run_revision"
AND jsonPayload.status=200
AND timestamp >= "${timeadd(timestamp(), "-120s")}"
EOF
  order_by = "timestamp desc"
  limit    = 1
}

2. 在测试断言中验证日志条目存在：

run "e2e_tests" {
  module {
    source = "./tests/setup"
  }

  assert {
    condition     = length(data.google_logging_log_entry.cloud_run_200_response.entries) > 0
    error_message = "No 200 HTTP response found in Cloud Run logs"
  }
}

该方案完全基于Terraform生态，逻辑更贴合声明式风格，无需额外工具依赖。

方案3：简化端到端验证逻辑 #

如果日志检查仅为验证Cloud Run触发状态，可跳过日志查询，改用更直接的验证方式：

• 检查Pub/Sub订阅的消息投递状态，通过google_pubsub_subscription的相关属性确认消息已被ACK
• 在Cloud Run服务中新增轻量回调接口，测试时直接调用接口验证服务可用性
• 使用Terraform Test的provisioner在测试阶段自动上传文件到存储桶，触发流程后再执行验证

内容的提问来源于stack exchange，提问作者Ryan