如何定位BigQuery项目中导致成本激增的高开销查询/作业？

1. 利用BigQuery作业历史直接筛选 #

• 进入BigQuery控制台的作业历史页面，设置对应成本激增的时间范围，勾选「包含所有用户」「包含已完成的作业」，然后按处理数据量降序排序，优先查看排在前列的作业。
• 点击作业ID进入详情页，可直接查看查询语句、处理字节数、执行时长、发起者等信息，快速定位高消耗源。

2. 通过INFORMATION_SCHEMA查询作业数据 #

• 执行以下SQL（替换区域和时间范围），批量获取高消耗作业的核心信息：

SELECT
  job_id,
  user_email,
  start_time,
  end_time,
  total_bytes_processed / POW(2,40) AS ti_processed,
  query
FROM
  `region-your-region`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  job_type = 'QUERY'
  AND start_time BETWEEN TIMESTAMP('2024-XX-XX 00:00:00') AND TIMESTAMP('2024-XX-XX 23:59:59')
ORDER BY
  total_bytes_processed DESC
LIMIT 50;

• 结果按处理数据量从大到小排序，直接查看Top作业的查询语句和发起者。

3. 借助计费导出表关联分析 #

• 若已开启计费数据导出到BigQuery，可查询计费表并关联作业信息：

SELECT
  b.project_id,
  b.sku_description,
  b.usage_amount,
  b.cost,
  j.job_id,
  j.query
FROM
  `your-billing-dataset.gcp_billing_export_v1_XXXXXX` b
LEFT JOIN
  `region-your-region`.INFORMATION_SCHEMA.JOBS_BY_PROJECT j
ON
  b.labels.job_id = j.job_id
WHERE
  b.service_description = 'BigQuery'
  AND b.sku_description = 'Analysis'
  AND b.usage_start_time BETWEEN TIMESTAMP('2024-XX-XX') AND TIMESTAMP('2024-XX-XX')
ORDER BY
  b.cost DESC;

• 需确保BigQuery作业自动添加的job_id标签已包含在计费数据中，可通过时间、用户维度辅助关联。

4. 排查调度与批量作业 #

• 进入BigQuery控制台的调度查询页面，检查各调度任务的执行频率和单次处理数据量，确认是否有任务逻辑变更导致消耗激增。
• 若存在Dataflow等ETL工具调用BigQuery的场景，可在Logs Explorer中筛选对应服务日志（如dataflow.googleapis.com），结合作业ID关联数据消耗情况。

内容的提问来源于stack exchange，提问作者nickbeuk