在Snowflake中创建任务时使用变量的可行性及实现方法咨询

是否支持变量定义？ #

Snowflake完全支持在创建任务时使用会话变量简化配置，你遇到的报错是语法使用不规范导致的，并非功能不支持。

你写法中的错误点： #

• 未提前定义$WAREHOUSE变量，执行时会报变量不存在错误
• 变量和字符串直接拼接的写法$KAFKA_SCHEMA_NAME'.DTCI_DSC_R2O_AVAIL_CHANGES'不符合SQL语法要求
• 用变量指定对象名（任务、流、表等）时，没有用IDENTIFIER()函数包裹，Snowflake会将变量名识别为对象名的字面量，导致对象不存在报错

正确实现代码 #

-- 声明所有需要用到的会话变量
SET STG_SCHEMA_NAME = 'BEAST_DSC_SBX.DSC_STG';
SET KAFKA_SCHEMA_NAME = 'BEAST_DSC_SBX.KAFKA';
SET TASK_WAREHOUSE = 'BEAST_DSC_ADHOC_WH_SBX';

-- 预拼接完整对象名，避免创建任务时重复拼接
SET TASK_FULL_NAME = CONCAT($STG_SCHEMA_NAME, '.DTCI_DSC_R2O_AVAIL_INCREMENTAL_TRUNCATE');
SET CDC_STREAM_NAME = CONCAT($KAFKA_SCHEMA_NAME, '.DTCI_DSC_R2O_AVAIL_CHANGES');
SET TARGET_TABLE_NAME = CONCAT($STG_SCHEMA_NAME, '.DTCI_DSC_R2O_AVAIL_INCREMENTAL');

-- 创建任务，所有变量指代的对象名用IDENTIFIER()包裹
CREATE OR REPLACE TASK IDENTIFIER($TASK_FULL_NAME)
WAREHOUSE = $TASK_WAREHOUSE
SCHEDULE = '10 MINUTE'
WHEN SYSTEM$STREAM_HAS_DATA(IDENTIFIER($CDC_STREAM_NAME)) = TRUE
AS
TRUNCATE TABLE IDENTIFIER($TARGET_TABLE_NAME);

补充说明 #

• 上述方式创建任务时，会话变量会在任务创建阶段直接替换为对应的值写入任务配置，后续修改会话变量不会影响已创建的任务
• 如果需要任务每次运行时动态获取变量值，可以将TRUNCATE逻辑封装到存储过程中，在存储过程内处理动态变量，任务直接调用对应存储过程即可。

内容的提问来源于stack exchange，提问作者ADom