基于BigQuery Capacity compute定价模型计算查询成本的疑问

我们公司采用BigQuery的Capacity Compute定价模型，通过购买Slots使用服务。为了方便团队成员查看查询性能，我正在计算单条查询的成本。我用INFORMATION_SCHEMA.JOBS表的total_slot_ms字段，通过公式ROUND((total_slot_ms / 3600000) * hour_slot_price, 2)计算，结果仅占每日实际成本的约四分之一；而用ROUND((total_bytes_billed / POW(10, 12)) * scan_bytes_price, 2)计算的结果更接近实际成本。想问下出现这种差异的原因是什么？在Capacity Compute定价模式下，我是否应该继续用total_bytes_billed来计算单条查询的成本？

附查询SQL：

SELECT
  date(creation_time) as creation_date,
  job_id,
  user_email,
  creation_time,
  start_time,
  end_time,
  total_bytes_processed,
  total_bytes_billed,
  ROUND((total_bytes_billed / POW(10, 12)) * 6.25, 2) AS data_processed_cost_usd,
  total_slot_ms,
  ROUND((total_slot_ms / 3600000) * 0.0768, 2) AS slot_time_cost_usd,  
  SAFE_DIVIDE(total_slot_ms, TIMESTAMP_DIFF(end_time, start_time, MILLISECOND)) AS avg_slots,
  query
FROM
  `region-eu`.INFORMATION_SCHEMA.JOBS
WHERE 1 = 1
  AND job_type = 'QUERY'
  AND state = 'DONE'
  AND creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)  -- Last 7 days
ORDER BY
  total_cost_usd DESC

问题原因与解决方案 #

差异产生的核心原因 #

• Capacity Compute的固定计费逻辑：Capacity Compute是按你购买的Slots总数×时长固定付费，不管实际查询消耗的Slots时长总和是多少。比如你买了100个Slots，每天要付100×0.0768×24美元，哪怕当天所有查询只用了25个Slots的时长，账单金额还是固定的。你用total_slot_ms计算的是实际消耗的Slots成本，自然只有实际账单的四分之一左右。
• total_bytes_billed的巧合性：你用数据扫描量算出的结果接近实际成本，只是偶然现象——你的查询扫描量对应的按需定价成本，刚好和购买Slots的固定成本差不多，但这完全不是Capacity模式的计费逻辑。
• 未覆盖全部Slots消耗场景：INFORMATION_SCHEMA.JOBS只记录查询类任务的total_slot_ms，但Capacity的Slots还会被加载数据、导出数据、物化视图刷新、自动分区清理等任务占用，这些任务的Slots消耗没被你统计到，进一步拉低了total_slot_ms的总和。

是否应该用total_bytes_billed计算单条查询成本？ #

绝对不应该，理由如下：

• 这只是偶然巧合，一旦后续查询的扫描量变化，或者你调整了购买的Slots数量，计算结果会完全偏离实际成本。
• Capacity模式下，单条查询的合理成本分摊应该是：固定总成本 ×（该查询的total_slot_ms / 当天所有任务的total_slot_ms总和）。比如当天固定总成本是184.32美元，所有任务总total_slot_ms是X，某条查询的total_slot_ms是Y，那么它的分摊成本就是(Y/X)×184.32美元。
• 如果是为了让团队了解查询的资源效率，应该关注total_slot_ms、avg_slots（平均占用Slots数）、total_bytes_processed这些指标，它们能直接反映查询的资源浪费情况，比用total_bytes_billed计算成本更有意义。

内容的提问来源于stack exchange，提问作者nhanhoangle