Azure Pipeline中TerraformCLI任务重复创建已存在资源问题求助

问题描述 #

通过Azure Pipeline结合Terraform部署资源时，首次apply步骤失败仅创建了部分资源；修正步骤后再次执行，出现如下错误：

Error: A resource with the ID "/subscriptions/2c13ad21-ae92-4e09-b64f-2e24445dc076/resourceGroups/apim-resource-gp" already exists - to be managed via Terraform this resource needs to be imported into the State. Please see the resource documentation for "azurerm_resource_group" for more information.
│ 
│   with module.resource_gp.azurerm_resource_group.apim_rg,
│   on resourcegroup/resource-group.tf line 1, in resource "azurerm_resource_group" "apim_rg":
│    1:  resource "azurerm_resource_group" "apim_rg" {

同时观察到：

• plan步骤仍生成创建所有资源的计划，未跳过已创建的资源
• 配置的存储账户中未生成预期的tfstate文件

使用的azure-pipelines.yaml配置如下：

# Starter pipeline
# Start with a minimal pipeline that you can customize to build and deploy your code.
# Add steps that build, run tests, deploy, and more:
# https://aka.ms/yaml
variables:
  tf_version: "latest"
  tf_state_rg: "blogpost-tfstate-rg"
  tz_state_location: "centralus"
  tf_state_sa_name: "apimstrgaccount"
  tf_state_container_name: "tfstate"
  tf_state_tags: ("env=blogpost-terraform-devops-pipeline" "deployedBy=devops")
  tf_environment: "dev"
  tf_state_sku: "Standard_LRS"
  SUBSCRIPTION_NAME: "pipeline-terraform"
trigger:
- main

pool:
  vmImage: ubuntu-latest

steps:
  - task: terraformInstaller@0
    displayName: "Install Terraform $(tf_version)"
    inputs:
      terraformVersion: "$(tf_version)"
  - task: TerraformCLI@0
    inputs:
      command: "init"
      backendType: "azurerm"
      backendServiceArm: "$(SUBSCRIPTION_NAME)"
      ensureBackend: true
      backendAzureRmResourceGroupName: "$(tf_environment)-$(tf_state_rg)"
      backendAzureRmResourceGroupLocation: "$(tz_state_location)"
      backendAzureRmStorageAccountName: "$(tf_state_sa_name)"
      backendAzureRmStorageAccountSku: "$(tf_state_sku)"
      backendAzureRmContainerName: $(tf_state_container_name)
      backendAzureRmKey: "$(tf_environment).terraform.tstate"
    displayName: "Run > terraform init"

  - task: TerraformCLI@0
    inputs:
      command: "validate"
      environmentServiceName: "$(SUBSCRIPTION_NAME)"
    displayName: "Run > terraform validate"

  - task: TerraformCLI@0
    displayName: 'terraform plan'
    inputs:
      command: plan
      publishPlanResults: "$(SUBSCRIPTION_NAME)"
      environmentServiceName: "$(SUBSCRIPTION_NAME)"
      commandOptions: '-out=$(System.DefaultWorkingDirectory)/terraform.tfplan -detailed-exitcode'

  - task: TerraformCLI@0
    displayName: 'terraform apply'
    condition: and(succeeded(), eq(variables['TERRAFORM_PLAN_HAS_CHANGES'], 'true'))
    inputs:
      command: apply
      environmentServiceName: "$(SUBSCRIPTION_NAME)"
      commandOptions: '$(System.DefaultWorkingDirectory)/terraform.tfplan'

问题原因分析 #

1. 状态文件未同步：首次apply失败时，Terraform未将已创建的资源信息写入远程tfstate文件，导致后续运行时Terraform无法识别这些已存在的资源，尝试重复创建。
2. 远程状态存储异常：存储账户中未生成tfstate文件，说明远程状态初始化或写入失败，Pipeline每次运行使用全新的Agent环境，本地状态无法持久化，导致Terraform始终以空状态执行计划。
3. 计划逻辑依赖状态：Terraform的plan步骤完全依赖tfstate判断资源是否存在，无状态文件时会默认计划创建所有定义的资源。

解决方案 #

步骤1：导入已存在的资源到Terraform状态 #

需要将已创建的资源组导入到远程状态中，确保Terraform能识别它：

本地测试（推荐先验证）

# 初始化Terraform并连接到远程backend
terraform init -backend-config="resource_group_name=dev-blogpost-tfstate-rg" -backend-config="storage_account_name=apimstrgaccount" -backend-config="container_name=tfstate" -backend-config="key=dev.terraform.tstate"

# 导入目标资源组
terraform import module.resource_gp.azurerm_resource_group.apim_rg /subscriptions/2c13ad21-ae92-4e09-b64f-2e24445dc076/resourceGroups/apim-resource-gp

Pipeline自动化导入

在init步骤之后、validate步骤之前添加导入任务：

- task: TerraformCLI@0
  displayName: 'terraform import existing resource group'
  inputs:
    command: 'import'
    environmentServiceName: "$(SUBSCRIPTION_NAME)"
    commandOptions: 'module.resource_gp.azurerm_resource_group.apim_rg /subscriptions/2c13ad21-ae92-4e09-b64f-2e24445dc076/resourceGroups/apim-resource-gp'

注意：导入前需确保Terraform配置与已存在资源的属性完全匹配，避免后续plan出现不必要的变更。

步骤2：修复远程状态存储配置 #

检查并修正azure-pipelines.yaml中的init步骤参数：

• 确认backendAzureRmResourceGroupName的值$(tf_environment)-$(tf_state_rg)（即dev-blogpost-tfstate-rg）已存在，ensureBackend: true会自动创建该资源组，但需确保服务连接有足够权限。
• 验证tf_state_sa_name（apimstrgaccount）是全局唯一的存储账户名称，避免因重名导致创建失败。
• 添加状态文件检查步骤，确认tfstate是否成功写入存储：

- task: AzureCLI@2
  displayName: 'Check tfstate exists'
  inputs:
    azureSubscription: '$(SUBSCRIPTION_NAME)'
    scriptType: 'bash'
    scriptLocation: 'inlineScript'
    inlineScript: |
      az storage blob exists --account-name $(tf_state_sa_name) --container-name $(tf_state_container_name) --name $(tf_environment).terraform.tstate --output table

步骤3：调整Pipeline执行逻辑 #

• 确保init步骤始终优先拉取远程状态，避免使用本地临时状态。
• 检查apply步骤的条件变量TERRAFORM_PLAN_HAS_CHANGES是否由plan步骤正确生成，确认publishPlanResults配置无误。
• 若apply失败，可添加状态同步步骤，但更可靠的方式是确保所有操作基于远程状态执行。

步骤4：验证修复效果 #

1. 执行Pipeline的init步骤，确认远程backend初始化成功。
2. 执行导入步骤后，检查存储账户中是否生成tfstate文件。
3. 运行plan步骤，确认计划仅包含未创建的资源，不再重复创建已存在的资源组。
4. 执行apply步骤，验证剩余资源能正常部署。

内容的提问来源于stack exchange，提问作者Satya Panigrahy