基于Airflow的Azure BLOB至Snowflake数据迁移：方案适配与选型咨询

问题1：是否有必要将Airflow与EventGrid/SnowPipe结合使用？若有，具体方案是怎样的？ #

不是必须，但如果想保留原流程近实时/事件驱动的加载能力，结合使用是有价值的，具体有两种可行方案：

• 方案一：保留EventGrid+SnowPipe的自动触发逻辑，Airflow做全流程调度
  • Airflow负责上游源数据到Azure BLOB的同步任务（替代原ADF的工作）
  • 用Airflow的AzureBlobStorageSensor传感器监听BLOB中是否有新文件落地，或者直接在BLOB同步任务完成后，触发后续的状态检查
  • 通过SnowflakeOperator调用Snowflake的SYSTEM$PIPE_STATUS函数检查SnowPipe的加载状态，确认数据已同步到staging层后，执行MERGE任务到最终表
• 方案二：用Airflow替代EventGrid的触发逻辑，保留SnowPipe
  • 取消EventGrid的配置，改用Airflow的定时任务+传感器定期扫描BLOB的新文件
  • 当检测到新文件时，通过SnowflakeOperator执行ALTER PIPE <pipe_name> REFRESH命令手动触发SnowPipe加载数据到staging
  • 同样在确认加载完成后，执行MERGE任务

如果业务对加载延迟要求不高（比如小时级批量），也可以完全不用EventGrid和SnowPipe，直接用Airflow做批量加载。

问题2：若不使用EventGrid，替代方案是否为放弃SnowPipe改用批量加载（BLOB->COPY INTO staging->MERGE至最终表）？该方案是否需要自行跟踪已加载文件？ #

是的，这是最直接的替代方案，关于文件跟踪的问题分两种情况：

• 无需自行跟踪的方式：
  • 利用Snowflake的COPY INTO命令的PURGE = TRUE参数，加载完成后自动删除BLOB中的源文件，下次只加载新生成的文件
  • 基于外部表+流（Stream）：先创建指向Azure BLOB的外部表，再为外部表创建流，流会自动跟踪外部表中新增的文件/数据，后续通过COPY INTO从流中加载数据，无需手动记录已加载文件
• 需要自行跟踪的方式：
  如果不用上述Snowflake特性，就需要自己维护一张加载日志表，记录每次加载的文件名、加载时间、状态等信息。每次执行COPY INTO前，先查询日志表过滤掉已加载的文件，只加载未记录的文件。

内容的提问来源于stack exchange，提问作者Frank W