通过Terraform创建CDAP Namespace时出现Error 401 Unauthorized错误

问题描述 #

我在创建私有DataFusion实例的main.tf中编写了如下代码：

# CDAP namespace block 

data "google_client_config" "current" {}
provider "cdap" {
  host  = google_data_fusion_instance.instance.api_endpoint
  token = data.google_client_config.current.access_token
}

resource "cdap_namespace" "namespace" {
  name = var.cdap_name
}

resource "cdap_namespace_preferences" "preferences" { 
  namespace   = cdap_namespace.namespace.name
  preferences = var.cdap_preferences
}

运行流水线时，创建Namespace环节失败，报错Error 401 Unauthorized。

备注：用于创建DataFusion实例的服务账号已配置DataFusion.admin角色，请问是否需要添加更多角色？或是访问令牌的传递方式存在问题？

排查方向及解决方案 #

1. 访问令牌传递问题 #

• 修正令牌格式：部分CDAP API要求令牌前缀为Bearer ，修改CDAP provider配置：

  provider "cdap" {
    host  = google_data_fusion_instance.instance.api_endpoint
    token = "Bearer ${data.google_client_config.current.access_token}"
  }
  

• 验证令牌有效性：手动用服务账号令牌调用API，确认权限正常：

  gcloud auth activate-service-account --key-file=<服务账号密钥文件路径>
  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" ${DATA_FUSION_API_ENDPOINT}/v3/namespaces
  

  若手动调用也报401，说明令牌无效或权限不足；若手动调用成功，再排查Terraform的令牌传递逻辑。
• 确认执行身份：google_client_config.current获取的是Terraform运行时的身份令牌，需确保运行环境使用的是目标服务账号（例如设置GOOGLE_APPLICATION_CREDENTIALS环境变量绑定服务账号密钥）。

2. 权限与角色问题 #

• 检查角色作用域：确认DataFusion.admin角色绑定在DataFusion实例所在的项目，且服务账号权限覆盖实例所在区域。
• 补充细粒度权限：虽然DataFusion.admin理论上包含Namespace操作权限，但私有实例可尝试添加roles/datafusion.developer角色，或直接添加cdap:namespace:create、cdap:namespace:update细粒度权限到服务账号。
• 私有实例网络限制：若DataFusion实例为私有IP模式，需确保Terraform运行环境（如CI/CD节点）处于允许访问该实例的VPC网络内，否则会因网络限制触发401错误。

3. API端点正确性验证 #

通过gcloud data-fusion instances describe <实例名> --region <区域>命令，核对google_data_fusion_instance.instance.api_endpoint返回的地址是否为私有实例正确的CDAP API端点（格式通常为https://<实例ID>.<区域>.datafusion.googleusercontent.com）。

内容的提问来源于stack exchange，提问作者Pooja