如何通过BigQuery Python SDK指定计费项目，无需修改查询语句

核心问题分析 #

你之前的尝试失败，是因为只设置了quota_project_id，但没有指定BigQuery Client的project参数为quota_project。当Client的默认项目是data_project时，BigQuery会优先将计费归属到该项目，忽略quota_project_id的设置。

正确实现步骤 #

要同时满足计费转到quota_project、查询无需显式指定data_project两个需求，需要完成以下操作：

1. 确保权限配置正确

   • 你的账号/服务账号需在quota_project拥有roles/bigquery.jobUser权限（允许提交作业），若要使用预留资源还需roles/bigquery.reservationUser权限
   • 在data_project拥有roles/bigquery.dataViewer权限（只读访问数据）

2. 初始化Client时指定计费项目
   必须同时设置Client的project参数和quota_project_id为quota_project，确保作业的计费和配额归属到目标项目。

3. 设置默认数据项目，避免查询中显式指定
   有两种方式可以让查询默认指向data_project的数据集：

方法一：查询中通过SET命令指定默认项目

import google.cloud.bigquery as bq
from google.oauth2.credentials import Credentials

credential_path = "你的凭据文件路径"
scopes = ["https://www.googleapis.com/auth/bigquery"]
quota_project = "quota-project-id"
data_project = "data-project-id"

creds = Credentials.from_authorized_user_file(credential_path, scopes)

# 初始化Client，指定project和quota_project_id均为quota_project
client = bq.Client(
    project=quota_project,
    credentials=creds,
    client_options={"quota_project_id": quota_project}
)

# 查询前设置默认项目为data_project，后续表引用无需带项目名
query = """
SET @@project_id = '{data_project}';
SELECT * FROM `dataset.table`;
""".format(data_project=data_project)

client.query(query).result().to_dataframe()

方法二：初始化Client时指定默认数据集

import google.cloud.bigquery as bq
from google.oauth2.credentials import Credentials

credential_path = "你的凭据文件路径"
scopes = ["https://www.googleapis.com/auth/bigquery"]
quota_project = "quota-project-id"
data_project = "data-project-id"
target_dataset = "dataset-name"

creds = Credentials.from_authorized_user_file(credential_path, scopes)

# 初始化Client时指定default_dataset，关联data_project下的目标数据集
client = bq.Client(
    project=quota_project,
    credentials=creds,
    client_options={"quota_project_id": quota_project},
    default_dataset=bq.DatasetReference(data_project, target_dataset)
)

# 直接查询表名即可，无需指定项目和数据集
client.query("SELECT * FROM `table`").result().to_dataframe()

关于quota_project的说明 #

quota_project_id的作用是明确作业的配额限制和计费归属，但它生效的前提是Client的project参数也指向该项目，或者你的凭据没有关联默认项目。如果Client的默认项目是data_project，BigQuery会优先使用该项目作为计费主体，这就是你之前尝试失败的原因。

内容的提问来源于stack exchange，提问作者Nico Albers