如何实现Snowflake任务超时失败后自动用更大Warehouse重跑？

一、封装带超时控制的任务逻辑到存储过程 #

Snowflake没有直接的任务全局超时参数，但可以通过会话级超时参数+存储过程封装逻辑实现超时自动失败。在存储过程中设置STATEMENT_TIMEOUT_IN_SECONDS为10分钟（600秒），超时后抛出明确异常触发任务失败。

示例存储过程代码： #

CREATE OR REPLACE PROCEDURE MAIN_TASK_PROC()
RETURNS VARCHAR
LANGUAGE SQL
EXECUTE AS CALLER
AS
$$
BEGIN
    -- 设置会话级超时为10分钟
    ALTER SESSION SET STATEMENT_TIMEOUT_IN_SECONDS = 600;
    
    -- 写入你的核心任务逻辑（如数据同步、计算等）
    -- 示例：
    INSERT INTO target_table SELECT * FROM source_table;
    
    RETURN '任务执行成功';
EXCEPTION
    WHEN STATEMENT_TIMEOUT THEN
        RAISE EXCEPTION '任务执行超时（超过10分钟），触发重启逻辑';
    WHEN OTHERS THEN
        RAISE;
END;
$$;

二、创建主任务（使用原规格仓库） #

创建调用上述存储过程的任务，指定原小规格仓库和调度周期：

CREATE OR REPLACE TASK MAIN_TASK
WAREHOUSE = SMALL_WH -- 原小规格仓库
SCHEDULE = 'USING CRON 0 0 * * * UTC' -- 按业务需求调整调度
AS
CALL MAIN_TASK_PROC();

三、实现超时失败后切换大仓库重启 #

提供两种无外部依赖的实现方式：

方式1：基于任务历史流的触发重启 #

通过捕获任务失败事件，自动切换仓库并重启：

1. 创建重启逻辑存储过程

CREATE OR REPLACE PROCEDURE RESTART_TASK_WITH_LARGE_WH()
RETURNS VARCHAR
LANGUAGE SQL
EXECUTE AS CALLER
AS
$$
BEGIN
    -- 暂停原任务避免重复触发
    ALTER TASK MAIN_TASK SUSPEND;
    -- 切换为大规格仓库
    ALTER TASK MAIN_TASK SET WAREHOUSE = LARGE_WH;
    -- 重启任务
    ALTER TASK MAIN_TASK RESUME;
    ALTER TASK MAIN_TASK EXECUTE TASK;
    
    RETURN '已切换大仓库并重启任务';
END;
$$;

2. 创建任务失败事件流与触发任务

-- 捕获MAIN_TASK的超时失败事件
CREATE OR REPLACE STREAM TASK_FAILURE_STREAM
ON TABLE INFORMATION_SCHEMA.TASK_HISTORY
WHERE STATE = 'FAILED' 
  AND NAME = 'MAIN_TASK' 
  AND ERROR_MESSAGE LIKE '%任务执行超时%';

-- 创建触发重启的任务
CREATE OR REPLACE TASK RESTART_TASK_TRIGGER
WAREHOUSE = SMALL_WH
WHEN SYSTEM$STREAM_HAS_DATA('TASK_FAILURE_STREAM')
AS
CALL RESTART_TASK_WITH_LARGE_WH();

方式2：定时监控任务 #

创建定时任务，周期性检查任务运行时长，超时则强制切换仓库重启：

1. 创建监控存储过程

CREATE OR REPLACE PROCEDURE MONITOR_TASK_TIMEOUT()
RETURNS VARCHAR
LANGUAGE SQL
EXECUTE AS CALLER
AS
$$
DECLARE
    task_runtime INT;
BEGIN
    -- 获取当前运行中MAIN_TASK的时长（秒）
    SELECT TIMESTAMPDIFF(SECOND, START_TIME, CURRENT_TIMESTAMP) INTO task_runtime
    FROM INFORMATION_SCHEMA.TASK_HISTORY
    WHERE NAME = 'MAIN_TASK' AND STATE = 'RUNNING'
    ORDER BY START_TIME DESC
    LIMIT 1;
    
    IF task_runtime > 600 THEN
        ALTER TASK MAIN_TASK SUSPEND;
        ALTER TASK MAIN_TASK SET WAREHOUSE = LARGE_WH;
        ALTER TASK MAIN_TASK RESUME;
        ALTER TASK MAIN_TASK EXECUTE TASK;
        RETURN '检测到超时，已切换大仓库重启';
    ELSE
        RETURN '任务运行正常';
    END IF;
EXCEPTION
    WHEN NO_DATA_FOUND THEN
        RETURN '无运行中的MAIN_TASK';
END;
$$;

2. 创建定时监控任务

CREATE OR REPLACE TASK TASK_MONITOR
WAREHOUSE = SMALL_WH
SCHEDULE = 'USING CRON */5 * * * * UTC' -- 每5分钟检查一次
AS
CALL MONITOR_TASK_TIMEOUT();

四、关键注意事项 #

• 确保执行角色拥有ALTER TASK、EXECUTE TASK、仓库USAGE等权限。
• 任务重启前需处理逻辑幂等性，避免重复执行导致数据异常。
• 若无需外部依赖，优先选择方式2的定时监控方案。

内容的提问来源于stack exchange，提问作者Raghu