BigQuery非增量物化视图未正常刷新及相关机制咨询

你在使用ROW_NUMBER()创建非增量物化视图时遇到了刷新不生效、数据不更新等问题，针对你的四个疑问解答如下：

1. 什么是基表？ #

在BigQuery物化视图的语境中，基表就是物化视图定义中直接或间接依赖的底层原始数据表，也就是你示例中的project.dataset.BASE_TABLE。物化视图的所有数据都源自对这类表的查询结果，是视图数据的最终来源。

2. 为何无法获取BASE_TABLE的变更？ #

非增量物化视图每次刷新都是全量重新执行定义中的查询，刷新后没看到基表变更，大概率是以下原因之一：

• 基表的最新变更数据不满足查询里的WHERE xyz和WHERE abc过滤条件，因此全量查询后不会被包含在物化视图中；
• 虽然你看到管理员触发了刷新，但实际刷新任务可能因资源不足、权限问题或其他异常未完成，可在BigQuery的作业历史中查看该刷新任务的状态和日志，确认是否有执行失败；
• 若基表是分区/集群表，查询未正确覆盖最新分区范围（不过非增量视图默认是全量扫描，这种可能性较低）。

3. 刷新是否按配置的30分钟执行，还是与基表存在依赖？ #

非增量物化视图的刷新规则和基表变更无关，完全遵循你配置的参数：

• 你设置的REFRESH_INTERVAL 30 MINUTES会让BigQuery按照固定的30分钟间隔自动触发全量刷新，无论基表是否有数据变化；
• 管理员手动触发的刷新会立即执行一次全量刷新，临时覆盖自动刷新的时间点；
• 如果某次自动刷新任务失败，BigQuery会在后续的间隔时间重试，但不会因为基表有变更就提前触发刷新（只有增量物化视图才会基于基表变更触发增量更新）。

4. 数据过期选项的工作机制是什么？基于什么判定？ #

你设置的DATA_RETENTION 1 HOUR是控制物化视图历史数据的保留时长，具体机制：

• 非增量物化视图每次刷新会生成新的视图数据版本，旧版本的数据会在自该版本刷新完成时间起1小时后被自动清理；
• 判定依据是物化视图数据版本的刷新完成时间戳，和基表数据的生成时间无关；
• 这个选项的作用是减少冗余存储，确保物化视图只保留最近1小时内刷新生成的数据版本。

内容的提问来源于stack exchange，提问作者sP_