BigQuery中CREATE OR REPLACE是否会累计占用分区表修改配额?
BigQuery分区表分区修改配额判定规则
实际触发场景
日常使用中执行如下SQL单日多次运行时,会触发列式分区表的分区修改次数配额超限报错:
create or replace table `{project}`.`{dataset}`.`{table}` partition by date select {...}
但此前使用bq load --replace方式加载分区表时,从未触发同类报错,操作效果表现为每次运行都会重置配额计数。
底层逻辑说明
BigQuery的列式分区表配额统计,绑定在表的真实底层存储元数据ID上,从来不是单纯按照你看到的表名字符串做计数。所谓“分区修改次数配额”,本质是统计单个存储实体在自然日内累计执行的分区覆写、新增操作的总次数。
两类替换操作的行为差异
CREATE OR REPLACE TABLE 操作
- 执行表替换时,不会销毁原有表的底层存储元数据ID,而是在原有实体基础上直接覆写全部分区的数据内容。
- 因为底层实体ID从头到尾都没换,每次运行覆写时,所有被重写的分区都会累计计入该实体的当日修改配额,同一实体下跑多少次就累加多少次,直到触达单表单日的配额阈值触发报错。
- 不存在“针对同一个表名累计消耗配额”的规则,核心原因是这个SQL操作始终复用同一个底层存储实体,所以计数会一直累加,和表名本身没有关系。
bq load --replace 操作
- 执行replace逻辑时,会先把原有表的存储实体完全物理删除,再创建一个拥有全新底层元数据ID的表,最后再把数据写进去。
- 每次操作生成的都是独立的全新存储实体,旧实体上累计的分区修改计数会跟着旧实体一起被删掉,新表从0开始算当日配额,完全不继承之前的计数,所以体感上就像每次运行都会自动重置配额。
之前遇到的配额报错,本质就是反复执行
create or replace时,同一个底层存储实体累计的分区修改次数碰到了系统上限,不是配额判定逻辑出了bug。
内容的提问来源于stack exchange,提问作者Maximilian
相关产品推荐
相关产品推荐

