BigQuery物化视图刷新成本过高问题咨询

问题1：是否可以仅增量刷新物化视图中的当日数据？ #

可以，但需要满足特定条件并采用正确操作方式：

• 确保你的物化视图是分区物化视图，创建时指定PARTITION BY子句，且分区键与底层表t1、t2的日期分区键保持一致（例如PARTITION BY event_date）。
• 物化视图的查询逻辑必须仅依赖对应分区的底层数据，避免全局聚合操作（比如不要使用无分区限定的SUM(*)，需确保聚合范围限制在当日分区内）。
• 手动刷新时指定目标分区：使用带分区参数的调用语句，比如CALL BQ.REFRESH_MATERIALIZED_VIEW('project.dataset.mv', DATE('YYYY-MM-DD'))，其中YYYY-MM-DD替换为当日日期。这种方式下，BigQuery仅会处理当日对应的底层表分区数据，而非全量扫描。

如果之前出现全量刷新的情况，大概率是未指定刷新分区，或者物化视图定义不满足增量刷新条件（比如包含跨分区的窗口函数、历史分区被修改），调整后即可将数据处理量降至当日的6GB级别。

问题2：刷新时生成两个作业是否属于预期现象？能否避免？ #

这是BigQuery的预期行为，无需刻意避免，也不会产生额外计费：

• script_job_开头的作业是存储过程的调度作业，负责解析刷新命令、校验权限并触发实际计算任务；bquxjob开头的作业是执行物化视图数据计算的实际作业。
• 两个作业显示的处理数据量相同只是统计关联，BigQuery仅会对bquxjob类型的实际计算作业计费，script_job_属于元数据调度操作，不会产生额外费用。你可以查看作业的total_bytes_billed字段确认，调度作业的计费字节数几乎为0。

内容的提问来源于stack exchange，提问作者Gonzalo Pérez Fernández