Snowpipe共享SQS队列的通知路由机制及迁移有效性问询

一、多个Snowpipe如何忽略非目标通知？ #

当多个Snowpipe共享同一个带路径过滤的SQS队列时，它们依靠自身定义的COPY INTO语句中的文件匹配规则来过滤非目标通知，具体逻辑如下：

• 首先，SQS队列已经通过路径过滤，只发送符合指定路径前缀的文件事件通知到Snowpipe服务。
• 每个Snowpipe在收到通知后，会检查通知中包含的文件路径，是否匹配自己COPY INTO语句里的文件路径前缀或PATTERN参数定义的正则规则。
  例如，假设你有两个Snowpipe：

  -- Pipe A：仅处理path_a下的CSV文件
  COPY INTO table_a FROM @stage/path_a/ PATTERN='.*\.csv';
  
  -- Pipe B：仅处理path_b下的Parquet文件
  COPY INTO table_b FROM @stage/path_b/ PATTERN='.*\.parquet';
  

  当SQS发来path_a/file1.csv的通知时，只有Pipe A会识别到匹配并触发加载，Pipe B会直接忽略该通知；反之path_b/file2.parquet的通知只会被Pipe B处理。
• 这种二次过滤是Snowpipe内置的机制，确保每个管道只处理自己负责的文件，不会被其他无关的文件事件干扰。

二、迁移Snowpipe到新Schema后配置相同SQS队列能否接收正确通知？ #

可以正常接收并处理正确的通知，前提是你保证以下几点：

• 新建Snowpipe的COPY INTO语句与原管道完全一致（包括文件路径、PATTERN参数、目标表等），或者匹配规则和原管道相同，这样它会和原管道一样筛选SQS发来的通知。
• 确保新Snowpipe拥有必要的权限：
  • 访问SQS队列的权限（通过IAM角色或Snowflake集成配置）
  • 访问对应外部阶段的权限
  • 写入目标表的权限
• 如果原Snowpipe不再使用，记得执行ALTER PIPE <原管道名> SET PIPE_EXECUTION_PAUSED = TRUE暂停它，或者直接删除，避免同一份文件被新旧两个管道重复加载。

内容的提问来源于stack exchange，提问作者Mehdi Sidi Boumedine