本地文件自动推送至Snowflake Stage的可行方案咨询

方法1：Snowflake CLI + 本地文件监听脚本 #

Snowflake CLI支持直接上传文件到Stage，搭配Python的watchdog库做本地文件监听，就能实现新增文件自动上传：

1. 安装Snowflake CLI：pip install snowflake-cli-labs
2. 运行snow login完成账号认证配置
3. 编写监听脚本示例：

from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
import subprocess
import os

class AutoUploadHandler(FileSystemEventHandler):
    def on_created(self, event):
        if not event.is_directory:
            local_file = event.src_path
            stage_target = "@YOUR_STAGE_NAME/" + os.path.basename(local_file)
            subprocess.run(["snow", "stage", "put", local_file, stage_target, "--overwrite"], check=True)

if __name__ == "__main__":
    handler = AutoUploadHandler()
    observer = Observer()
    observer.schedule(handler, path="/your/local/target/folder", recursive=False)
    observer.start()
    try:
        while True:
            pass
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

4. 启动脚本后，目标文件夹新增的文件会自动上传到指定Stage。

方法2：定时任务 + SnowSQL #

如果不需要实时同步，用系统定时任务配合SnowSQL定期扫描上传新增文件即可：

1. 安装SnowSQL并在配置文件（~/.snowsql/config或Windows对应路径）里配置好连接参数
2. 编写shell脚本（Linux/macOS）示例：

#!/bin/bash
LOCAL_DIR="/your/local/folder"
STAGE="@YOUR_STAGE_NAME"
# 扫描最近10分钟新增的文件（可调整时间范围）
find $LOCAL_DIR -type f -mmin -10 | while read file; do
  snowsql -c your_connection_alias -q "PUT file://$file $STAGE AUTO_COMPRESS=TRUE OVERWRITE=FALSE"
done

Windows可编写bat脚本实现类似逻辑，然后通过任务计划设置执行频率，比如每分钟执行一次。

方法3：Snowflake本地文件集成（企业版专属） #

若使用Snowflake企业版，可配置本地文件集成实现自动识别本地文件到Stage：

1. 创建文件集成：

CREATE OR REPLACE FILE INTEGRATION local_file_integration
  TYPE = LOCAL
  STORAGE_BASE_LOCATIONS = ('/your/local/folder')
  ENABLED = TRUE;

2. 授予权限给对应角色：

GRANT USAGE ON FILE INTEGRATION local_file_integration TO ROLE your_role;

3. 关联集成到Stage：

CREATE OR REPLACE STAGE local_sync_stage
  FILE_FORMAT = (TYPE = CSV)
  FILE_INTEGRATION = local_file_integration;

4. 配合Snowpipe自动加载时，Snowflake会自动识别本地文件夹的新增文件到Stage（需确保Snowflake服务能访问本地文件系统，适合部署了Snowflake本地代理的场景）。

内容的提问来源于stack exchange，提问作者BEING_CODER