云函数中用google-cloud-bigquery更新BigQuery数据集加密配置遇问题求助

一、不硬编码获取项目ID的方法 #

有三种可靠方式，无需硬编码：

• 方式1：利用BigQuery客户端自动检测
  初始化bigquery.Client时不指定project参数，客户端会自动从GCP环境（元数据服务器、环境变量等）获取当前项目ID，之后可通过client.project获取：

  from google.cloud import bigquery
  client = bigquery.Client()
  project_id = client.project
  

• 方式2：直接请求GCP元数据服务器
  云函数运行在GCP内部，可直接访问元数据服务器获取项目ID：

  import requests
  def get_project_id():
      response = requests.get(
          "http://metadata.google.internal/computeMetadata/v1/project/project-id",
          headers={"Metadata-Flavor": "Google"}
      )
      response.raise_for_status()
      return response.text
  project_id = get_project_id()
  

• 方式3：排查环境变量获取失败原因
  若之前用os.getenv("PROJECT_ID")失败，需确认：
  • 云函数控制台已正确设置环境变量，且保存后重新部署了函数
  • 变量名拼写完全一致（区分大小写）
  • 1代云函数中环境变量可正常通过os.environ.get("PROJECT_ID")获取，可加日志排查：

    import os
    print(f"PROJECT_ID env var: {os.environ.get('PROJECT_ID')}")
    

二、更新BigQuery数据集KMS密钥的正确方法 #

1. 确保依赖版本正确 #

先升级google-cloud-bigquery到最新版本，旧版本可能没有encryption_configuration属性：

pip install --upgrade google-cloud-bigquery

2. 正确代码示例 #

使用Python客户端库更新，需指定update_mask明确要更新的字段：

from google.cloud import bigquery
from google.cloud.bigquery import EncryptionConfiguration

def update_dataset_kms(request):
    # 获取项目ID
    client = bigquery.Client()
    project_id = client.project
    dataset_id = "your-target-dataset"
    dataset_ref = client.dataset(dataset_id, project=project_id)
    
    # 获取现有数据集
    dataset = client.get_dataset(dataset_ref)
    
    # 设置新的KMS密钥（替换为你的密钥路径）
    new_kms_key = "projects/[PROJECT]/locations/[LOCATION]/keyRings/[KEYRING]/cryptoKeys/[KEY]"
    dataset.encryption_configuration = EncryptionConfiguration(kms_key_name=new_kms_key)
    
    # 更新数据集，指定要更新的字段
    updated_dataset = client.update_dataset(dataset, ["encryption_configuration"])
    return f"数据集KMS密钥已更新为: {updated_dataset.encryption_configuration.kms_key_name}"

3. 错误原因说明 #

出现No property 'encryption_configuration'错误，通常是因为：

• 使用的google-cloud-bigquery版本过旧，未支持该属性
• 误操作了其他类型的对象（比如不是Dataset实例）

三、替代方案：直接调用BigQuery REST API #

如果客户端库仍有问题，可直接发送PATCH请求调用BigQuery API：

import requests
from google.auth import default
from google.auth.transport.requests import Request

def update_dataset_kms_via_api(request):
    # 获取默认凭证和项目ID
    credentials, project_id = default()
    credentials.refresh(Request())
    
    dataset_id = "your-target-dataset"
    location = "your-dataset-location" # 比如us-central1
    new_kms_key = "projects/[PROJECT]/locations/[LOCATION]/keyRings/[KEYRING]/cryptoKeys/[KEY]"
    
    # 构造API请求
    url = f"https://bigquery.googleapis.com/bigquery/v2/projects/{project_id}/datasets/{dataset_id}?location={location}"
    headers = {
        "Authorization": f"Bearer {credentials.token}",
        "Content-Type": "application/json"
    }
    payload = {
        "encryptionConfiguration": {
            "kmsKeyName": new_kms_key
        }
    }
    
    # 发送请求
    response = requests.patch(url, json=payload, headers=headers)
    response.raise_for_status()
    return "通过API成功更新数据集KMS密钥"

内容的提问来源于stack exchange，提问作者chocho.boss