Snowflake Notebook作业编排：依赖执行、语法错误与并行运行

一、实现条件分支执行（Notebook1 → Notebook2/Notebook3） #

在Snowflake中可以通过任务（Task）+ 存储过程的组合实现这个分支逻辑：

1. 先在Notebook1末尾将标志值持久化到状态表，方便后续读取：

-- 创建状态表（首次执行即可）
CREATE OR REPLACE TABLE notebook_exec_status (
    notebook_name VARCHAR,
    exec_flag VARCHAR,
    exec_timestamp TIMESTAMP DEFAULT CURRENT_TIMESTAMP()
);

-- 将Notebook1生成的标志写入表中，替换实际业务逻辑生成的标志值
INSERT INTO notebook_exec_status (notebook_name, exec_flag)
VALUES ('Notebook1', 'RUN_NOTEBOOK2');

2. 创建存储过程，读取标志并触发对应Notebook：

CREATE OR REPLACE PROCEDURE decide_next_notebook()
RETURNS VARCHAR
LANGUAGE JAVASCRIPT
AS
$$
    // 获取Notebook1最新的执行标志
    var stmt = snowflake.execute({
        sqlText: "SELECT exec_flag FROM notebook_exec_status WHERE notebook_name = 'Notebook1' ORDER BY exec_timestamp DESC LIMIT 1"
    });
    stmt.next();
    var execFlag = stmt.getColumnValue(1);
    
    // 根据标志执行对应Notebook
    if (execFlag === 'RUN_NOTEBOOK2') {
        snowflake.execute({sqlText: "EXECUTE NOTEBOOK Notebook2"});
    } else if (execFlag === 'RUN_NOTEBOOK3') {
        snowflake.execute({sqlText: "EXECUTE NOTEBOOK Notebook3"});
    } else {
        return "无效标志，未执行任何Notebook";
    }
    return "已成功执行" + execFlag;
$$;

3. 用任务串起整个流程：

-- 执行Notebook1的任务
CREATE OR REPLACE TASK task_run_notebook1
WAREHOUSE = YOUR_WH_NAME -- 替换为你的仓库名
SCHEDULE = 'USING CRON 0 1 * * * UTC' -- 按需设置调度，也可手动触发
AS
EXECUTE NOTEBOOK Notebook1;

-- 依赖Notebook1完成后，执行分支判断的任务
CREATE OR REPLACE TASK task_decide_next
WAREHOUSE = YOUR_WH_NAME
AFTER task_run_notebook1
AS
CALL decide_next_notebook();

-- 启用任务
ALTER TASK task_run_notebook1 RESUME;
ALTER TASK task_decide_next RESUME;

二、修复「Unexpected '='」语法错误 #

这个错误通常是代码语法不符合Snowflake规范，常见场景及修复方式：

• SQL判断符号错误：SQL中判断相等用=而非==，如果误写==会触发错误。比如把WHERE flag == 'RUN'改成WHERE flag = 'RUN'。
• 任务定义格式错误：任务参数（如WAREHOUSE）与值之间缺少空格，比如把WAREHOUSE=MY_WH改成WAREHOUSE = MY_WH。
• 存储过程语言语法错误：比如在JavaScript存储过程中误用Python的语法，或者条件判断的括号、引号不匹配，检查代码的语法规范即可。

三、并行运行Notebook作业 #

Snowflake支持并行执行Notebook，只要仓库资源足够，可通过两种方式实现：

1. 并行任务触发：创建多个无依赖的任务，或用父任务触发多子任务并行：

-- 创建两个并行执行的Notebook任务
CREATE OR REPLACE TASK task_parallel_notebook2
WAREHOUSE = YOUR_WH_NAME
AS
EXECUTE NOTEBOOK Notebook2;

CREATE OR REPLACE TASK task_parallel_notebook3
WAREHOUSE = YOUR_WH_NAME
AS
EXECUTE NOTEBOOK Notebook3;

-- 创建父任务，完成后同时触发两个并行子任务
CREATE OR REPLACE TASK task_trigger_parallel
WAREHOUSE = YOUR_WH_NAME
AFTER task_run_notebook1 -- 可选：依赖Notebook1完成后再并行
AS
ALTER TASK task_parallel_notebook2 RESUME;
ALTER TASK task_parallel_notebook3 RESUME;

注意：需确保仓库的最大并发数足够，可通过调整仓库大小或使用多仓库分别执行任务。

2. 异步存储过程调用：在存储过程中用ASYNC关键字异步执行Notebook，实现并行：

CREATE OR REPLACE PROCEDURE run_notebooks_in_parallel()
RETURNS VARCHAR
LANGUAGE JAVASCRIPT
AS
$$
    // 异步启动Notebook2
    snowflake.execute({sqlText: "EXECUTE NOTEBOOK Notebook2 ASYNC"});
    // 异步启动Notebook3
    snowflake.execute({sqlText: "EXECUTE NOTEBOOK Notebook3 ASYNC"});
    return "已启动Notebook2和Notebook3的并行执行";
$$;

内容的提问来源于stack exchange，提问作者hari_azure