能否基于公开Azure Blob数据集在Snowflake中创建Snowpipe？

可以为公开可读的Azure Blob存储创建Snowpipe，但需要注意AUTO_INGEST功能的限制，以及确保存储访问权限配置正确。以下是具体说明和解决方法：

核心问题分析 #

你的外部阶段创建语句是正确的（未指定任何认证参数，Snowflake会尝试匿名访问），但创建带AUTO_INGEST = TRUE的管道时要求凭据，主要原因是：

• Azure公开存储不支持Snowpipe的AUTO_INGEST功能：AUTO_INGEST依赖Azure事件网格传递文件新增通知，而事件网格需要存储账户配置特定权限，公开存储无法满足这一要求，导致系统报错。
• 若存储仅设置为Blob级别公开读，Snowflake可能无法遍历容器内的文件（LIST操作失败），也会触发权限相关报错。

解决步骤 #

1. 确认Azure Blob存储权限 #

确保目标Blob容器的访问级别设置为容器（Container）级别公开读，而非仅Blob级别。这样Snowflake可以正常执行LIST和COPY操作。

2. 修改管道配置，关闭AUTO_INGEST #

去掉管道创建语句中的AUTO_INGEST = TRUE，改用按需或定期触发的方式加载数据：

修改后的管道创建代码

CREATE OR REPLACE PIPE raw_pipe
AS
COPY INTO nyc_raw
FROM @<name>_stage
PATTERN = '.*\.parquet$'
FILE_FORMAT = (TYPE = 'PARQUET')
ON_ERROR = 'CONTINUE';

3. 触发数据加载 #

• 手动触发：执行以下语句手动刷新管道，加载新文件：

ALTER PIPE raw_pipe REFRESH;

• 自动定期触发：创建Snowflake任务，定期执行管道刷新（示例为每小时执行一次）：

CREATE OR REPLACE TASK pipe_refresh_task
WAREHOUSE = <你的仓库名称>
SCHEDULE = 'USING CRON 0 * * * * UTC'
AS
ALTER PIPE raw_pipe REFRESH;

-- 启动任务
ALTER TASK pipe_refresh_task RESUME;

内容的提问来源于stack exchange，提问作者MinaB