Terraform HTTP后端重试无等待问题排查求助

问题背景 #

我们使用Terraform将状态存储到GitLab的HTTP后端，配置如下：

terraform {
  backend "http" {
    address        = "https://gitlab.com/api/v4/projects/12345678/terraform/state/foo"
    lock_address   = "https://gitlab.com/api/v4/projects/12345678/terraform/state/foo/lock"
    unlock_address = "https://gitlab.com/api/v4/projects/12345678/terraform/state/foo/lock"
    lock_method    = "POST"
    unlock_method  = "DELETE"
    retry_wait_min = 5
    retry_max      = 5
  }
}

但频繁遭遇GitLab返回的429速率限制错误，尽管配置了retry_wait_min（最小等待5秒）和retry_max（最多重试5次），重试却没有按预期等待，日志显示每次重试间隔都是0秒：

2023-12-21T21:55:27.866Z [DEBUG] POST https://gitlab.com/api/v4/projects/12345678/terraform/state/foo?ID=<id> (status: 429): retrying in 0s (5 left)
2023-12-21T21:55:27.922Z [DEBUG] POST https://gitlab.com/api/v4/projects/12345678/terraform/state/foo?ID=<id> (status: 429): retrying in 0s (4 left)
2023-12-21T21:55:27.967Z [DEBUG] POST https://gitlab.com/api/v4/projects/12345678/terraform/state/foo?ID=<id> (status: 429): retrying in 0s (3 left)
2023-12-21T21:55:28.036Z [DEBUG] POST https://gitlab.com/api/v4/projects/12345678/terraform/state/foo?ID=<id> (status: 429): retrying in 0s (2 left)
2023-12-21T21:55:28.069Z [DEBUG] POST https://gitlab.com/api/v4/projects/12345678/terraform/state/foo?ID=<id> (status: 429): retrying in 0s (1 left)

无间隔的重试持续触发429错误，反而拉长了速率限制的时长，最终导致作业失败。

可能原因 #

1. GitLab返回的Retry-After头优先级更高：Terraform HTTP后端的重试逻辑会优先使用服务端返回的Retry-After响应头值。如果GitLab在429响应中返回Retry-After: 0，Terraform会直接重试，忽略你配置的retry_wait_min。
2. Terraform版本存在bug：旧版本（比如v1.3.x及更早）的Terraform对HTTP后端的重试参数处理有问题，导致retry_wait_min配置不生效。

排查方向 #

• 查看GitLab响应头细节：通过TF_LOG=TRACE运行Terraform，获取完整的HTTP响应日志，检查429响应中是否包含Retry-After: 0的头信息。如果是，说明是GitLab端指定了立即重试。
• 升级Terraform版本：确认当前使用的Terraform版本，若低于v1.4.x，升级到最新稳定版——后续版本修复了HTTP后端重试参数的处理逻辑。
• 校验配置参数：检查retry_wait_min和retry_max是否正确写在backend "http"块内，有没有拼写错误（比如把retry_wait_min写成retry_wait_minute），参数值是否为整数。
• 模拟测试后端行为：临时换成一个简单的自定义HTTP后端（比如本地用Python搭建的服务），模拟返回不带Retry-After头的429错误，观察Terraform是否按配置的retry_wait_min等待，以此区分是Terraform还是GitLab的问题。
• 检查GitLab速率限制规则：查看GitLab项目或账号的速率限制设置，确认是否因并发请求过多触发了特殊限制，导致Retry-After被设为0；同时可以调整Terraform的执行逻辑，比如减少并行操作，降低请求频率。

内容的提问来源于stack exchange，提问作者Jack-of-some