Snowflake任务中CTAS结合Cluster by执行报错咨询

问题描述 #

尝试创建如下Snowflake任务：

create or replace task DB.SCHEMA.TASK_TASKNAME_DEVELOPMENT
    warehouse=W_WAREHOUSENAME
    schedule='USING CRON 0 10 * * * UTC'
    TIMESTAMP_INPUT_FORMAT='YYYY-MM-DD HH24'
    as create or replace table DB.SCHEMA.TABLE_TASKNAME_DEVELOPMENT
    cluster by (COL1, COL2, COL3, COL4)
AS
SELECT * FROM TABLE
UNION ALL
SELECT * FROM TABLE2

执行后收到错误：

SQL execution internal error:
Processing aborted due to error 300010:3375338213; incident 6305946.

疑问：Snowflake中是否不支持在任务里使用带Cluster by的CTAS语句？

解答 #

Snowflake支持在任务中使用带CLUSTER BY的CTAS语句，你遇到的属于内部系统错误，并非语法或功能不支持导致。

可以通过以下步骤排查和解决：

• 先脱离任务，单独执行CTAS语句，验证是否能正常生成聚类表。这一步能排除源表权限、列数据冲突、表名重复等业务逻辑问题。
• 如果单独执行CTAS没问题，说明是任务执行时的临时系统异常，可尝试重新创建任务，或等待一段时间后重试。这类带incident编号的错误属于Snowflake侧的临时故障，也可以通过官方支持渠道查询该incident的具体原因。
• 若重试后仍有问题，可拆分操作逻辑：先创建普通表，再通过ALTER TABLE添加聚类键，将这两步封装到任务中执行。示例如下：

create or replace task DB.SCHEMA.TASK_TASKNAME_DEVELOPMENT
    warehouse=W_WAREHOUSENAME
    schedule='USING CRON 0 10 * * * UTC'
    TIMESTAMP_INPUT_FORMAT='YYYY-MM-DD HH24'
    as 
    begin
        -- 先创建无聚类键的表
        create or replace table DB.SCHEMA.TABLE_TASKNAME_DEVELOPMENT
        AS
        SELECT * FROM TABLE
        UNION ALL
        SELECT * FROM TABLE2;
        
        -- 再添加聚类键
        alter table DB.SCHEMA.TABLE_TASKNAME_DEVELOPMENT cluster by (COL1, COL2, COL3, COL4);
    end;

内容的提问来源于stack exchange，提问作者Shruti