如何判断BigQuery物化视图自动刷新是否为增量更新?
判断BigQuery物化视图是否支持增量刷新的方法
检查刷新历史记录
打开BigQuery控制台,找到你的物化视图详情页,查看「刷新历史」模块。这里会明确标注每次刷新的类型:显示「增量刷新(Incremental)」就说明当前查询符合要求;如果是「全量刷新(Full)」,则不满足增量条件。用INFORMATION_SCHEMA查询刷新细节
执行下面的SQL语句,能直观看到每次刷新的扫描数据量和类型:SELECT table_name, refresh_type, total_bytes_processed, start_time, end_time FROM `你的数据所在区域`.INFORMATION_SCHEMA.MATERIALIZED_VIEW_REFRESH_HISTORY WHERE table_name = '你的物化视图名称' ORDER BY start_time DESC;如果
refresh_type是INCREMENTAL,且total_bytes_processed远小于50GB,那就是增量刷新;要是显示FULL且数据量接近50GB,就是全量扫描。测试UDF影响
先基于原表的小范围数据(比如仅取最近1天的数据)创建包含目标UDF的测试物化视图,手动触发刷新后,用上面两种方法查看刷新类型。如果测试视图触发全量刷新,那正式视图添加UDF后也会走全量扫描。明确UDF的限制
BigQuery的增量刷新不支持包含自定义SQL UDF或JavaScript UDF的查询,所以一旦添加这类复杂UDF,必然会触发全量刷新,每次都会扫描全部50GB数据。
内容的提问来源于stack exchange,提问作者Tunneller
相关产品推荐
相关产品推荐

