Azure DevOps通用服务连接对接GCP BigQuery的相关疑问

1. Generic Service Connection的URL填写 #

Generic Service Connection的URL要填你目标GCP API的根端点，比如对接BigQuery就填https://bigquery.googleapis.com。认证令牌URL是用来获取访问令牌的单独地址，不需要填在这里，而是要在连接的认证配置环节处理。

2. BigQuery API的认证方式 #

在Azure DevOps里对接BigQuery API，常用两种认证方式：

• OAuth2认证（通过Generic Service Connection）：
  1. 在GCP控制台创建OAuth 2.0客户端ID，配置授权回调地址为Azure DevOps的OAuth回调URL（格式一般是https://dev.azure.com/{org}/_oauth2/auth）。
  2. 在Azure DevOps的Generic Service Connection里选择「OAuth 2.0」认证类型，填写GCP的授权端点（https://accounts.google.com/o/oauth2/v2/auth）、令牌端点（https://oauth2.googleapis.com/token），以及客户端ID、客户端密钥。
  3. 授权时选择BigQuery相关的权限，比如https://www.googleapis.com/auth/bigquery。
• 服务账号密钥认证：
  1. 在GCP创建服务账号，赋予BigQuery的操作权限（比如BigQuery Data Editor），下载JSON格式的密钥文件。
  2. 把密钥文件的内容存在Azure DevOps的变量组（设为保密变量）里。
  3. 在InvokeRestApi任务前，先调用GCP的令牌端点获取访问令牌：

     curl -X POST "https://oauth2.googleapis.com/token" \
       -H "Content-Type: application/x-www-form-urlencoded" \
       -d "grant_type=urn:ietf:params:oauth:grant-type:jwt-bearer&assertion=$(echo $SERVICE_ACCOUNT_KEY | base64 -d | gcloud auth activate-service-account --key-file=- --format=json | jq -r '.access_token')"
     

  4. 拿到令牌后，在InvokeRestApi的请求头里添加Authorization: Bearer <token>即可调用BigQuery API。

3. 其他实现方式 #

除了用Generic Service Connection调用InvokeRestApi，还有更简便的方式：

• 用gcloud CLI操作：通过Azure DevOps的「GCP Tool Installer」任务安装gcloud CLI，然后用Bash/PowerShell任务直接执行gcloud命令，比如gcloud bigquery query "SELECT COUNT(*) FROM mydataset.mytable"，无需手动处理API调用和认证。
• 使用第三方扩展：在Azure DevOps Marketplace搜索BigQuery相关的扩展，比如「BigQuery Tasks」，这类扩展封装了常用的BigQuery操作（查询、导入导出等），直接配置参数即可使用。
• 中间层服务：用Azure Functions或者逻辑应用封装GCP认证和API调用逻辑，Azure DevOps只需要调用中间层的HTTP接口，简化流水线中的认证复杂度。

4. gcloud shell获取API响应 #

要从gcloud脚本获取API响应，有两种常用方式：

• 直接格式化gcloud命令输出：大部分gcloud命令支持--format参数指定输出格式，比如输出JSON：

  # 列出项目下的BigQuery数据集，输出JSON格式
  gcloud bigquery datasets list --project=my-gcp-project --format=json
  

• 结合curl调用REST API：先用gcloud获取访问令牌，再用curl调用GCP API：

  # 获取访问令牌
  ACCESS_TOKEN=$(gcloud auth print-access-token)
  # 调用BigQuery API获取数据集列表
  curl -H "Authorization: Bearer $ACCESS_TOKEN" \
    "https://bigquery.googleapis.com/bigquery/v2/projects/my-gcp-project/datasets"
  # 把响应保存到文件
  curl -H "Authorization: Bearer $ACCESS_TOKEN" \
    "https://bigquery.googleapis.com/bigquery/v2/projects/my-gcp-project/datasets" > datasets.json
  

  如果需要解析JSON，可以用jq工具，比如提取数据集名称：

  curl ... | jq -r '.[].datasetReference.datasetId'
  

内容的提问来源于stack exchange，提问作者Ali