如何在Snowflake外部阶段指定文件建表并同步Azure Blob文件更新？

1. 精准锁定目标文件 #

• 直接指定单个文件路径：创建阶段时别指向文件夹，直接写死目标文件的完整路径：

CREATE OR REPLACE STAGE azure_target_stage
URL = 'azure://<storage-account>.blob.core.windows.net/<container>/path/to/your/target_file.csv'
CREDENTIALS = (AZURE_SAS_TOKEN = '<your-sas-token>');

• 用通配符过滤一类文件：如果要加载某一批符合规则的文件，加PATTERN参数就行：

CREATE OR REPLACE STAGE azure_target_stage
URL = 'azure://<storage-account>.blob.core.windows.net/<container>/data/'
PATTERN = 'target_.*\\.csv' -- 匹配所有以target_开头的CSV文件
CREDENTIALS = (AZURE_SAS_TOKEN = '<your-sas-token>');

2. 先验证阶段和文件格式对不对 #

• 跑LIST @azure_target_stage;看看阶段里有没有目标文件。如果没列出来，先排查这几点：
  • SAS令牌有没有Blob读取权限
  • Azure Blob的路径大小写要和阶段里写的完全一致，Azure是区分大小写的
  • 容器名、文件夹路径别写错了
• 文件格式必须和目标文件匹配，比如CSV的分隔符、表头设置：

CREATE OR REPLACE FILE FORMAT target_csv_format
TYPE = CSV
FIELD_DELIMITER = ','
SKIP_HEADER = 1 -- 要是文件有表头就设1，没有就设0
FIELD_OPTIONALLY_ENCLOSED_BY = '"';

3. 创建外部表时关联正确的资源 #

CREATE OR REPLACE EXTERNAL TABLE ext_target_data
WITH LOCATION = @azure_target_stage
FILE_FORMAT = (FORMAT_NAME = target_csv_format);

建完直接查SELECT * FROM ext_target_data;，看看数据对不对。

1. 自动感知文件新增/删除（AUTO_REFRESH） #

要让Snowflake自动知道Blob里的文件变了，得配Azure Event Grid的通知集成：

第一步：在Azure那边弄好存储队列和权限 #

先在Azure门户建个存储队列，然后给Snowflake的服务主体开Azure Storage Queue Data Contributor权限。

第二步：在Snowflake里创建通知集成 #

CREATE OR REPLACE NOTIFICATION INTEGRATION azure_notif_int
TYPE = QUEUE
NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
ENABLED = TRUE
AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://<storage-account>.queue.core.windows.net/<queue-name>'
AZURE_TENANT_ID = '<your-azure-tenant-id>';

第三步：修改阶段开AUTO_REFRESH #

ALTER STAGE azure_target_stage
SET NOTIFICATION_INTEGRATION = azure_notif_int
AUTO_REFRESH = TRUE;

第四步：给外部表开AUTO_REFRESH #

ALTER EXTERNAL TABLE ext_target_data SET AUTO_REFRESH = TRUE;

这样以后Blob里新增或删文件，Snowflake会自动同步外部表的元数据。

2. 处理文件内容更新（覆盖已有文件） #

AUTO_REFRESH管不了已有文件的内容修改，这时候可以整个定时任务定期刷新：

创建定时刷新任务 #

CREATE OR REPLACE TASK refresh_ext_table_task
WAREHOUSE = <your-warehouse-name>
SCHEDULE = 'USING CRON 0 */1 * * * UTC' -- 这里是每小时刷一次，你可以改频率
AS
ALTER EXTERNAL TABLE ext_target_data REFRESH;

启用任务 #

ALTER TASK refresh_ext_table_task RESUME;

刷新之后，查外部表就读到最新的文件内容了。

内容的提问来源于stack exchange，提问作者yumo