Dataform中operations类型任务如何判断是否为增量执行?
在Dataform operations类型定义中判断全量刷新状态
由于incremental()函数仅支持incremental类型的Dataform脚本,在operations类型中调用会触发incremental is not a function错误,你可以通过以下方式判断是否为全量刷新启动:
- 使用
session.isFullRefresh全局变量:全量刷新时该变量值为true,增量执行时为false,所有类型的Dataform定义都能访问这个变量。
示例代码:
config { type: "operations" } -- 根据全量刷新状态分支逻辑 ${session.isFullRefresh ? "DROP TABLE IF EXISTS my_temp_table;" : "TRUNCATE TABLE my_temp_table;"} -- 后续操作语句 INSERT INTO my_target_table SELECT * FROM my_source_data;
内容的提问来源于stack exchange,提问作者whetstone
相关产品推荐
相关产品推荐

