SnowSQL PUT命令跳过已修改文件问题及增量加载需求
解决方案:仅加载修改后的myFile1.csv到Snowflake
以下几种方法可实现只更新并加载修改后的myFile1.csv,同时避免影响未修改的文件:
方法1:针对单个文件执行PUT+COPY
直接指定修改后的文件执行PUT命令,配合overwrite=true仅覆盖该文件的阶段版本,不会波及其他文件:
-- 上传修改后的单个文件,覆盖阶段中的旧版本 put file://C:\myFolder\myFile1.csv @my_csv_stage auto_compress=true overwrite=true; -- 仅加载该文件到目标表 COPY INTO MYCSVTABLE FROM @my_csv_stage FILE_FORMAT = (FORMAT_NAME = mycsvformat) FILES = ('myFile1.csv.gz') ON_ERROR = 'skip_file';
方法2:先移除阶段旧文件再上传
如果PUT命令未自动检测到文件内容变化,可先手动删除阶段中的旧文件,再重新上传:
-- 删除阶段中对应的旧压缩文件 remove @my_csv_stage/myFile1.csv.gz; -- 重新上传修改后的本地文件 put file://C:\myFolder\myFile1.csv @my_csv_stage auto_compress=true; -- 加载该文件到目标表 COPY INTO MYCSVTABLE FROM @my_csv_stage FILE_FORMAT = (FORMAT_NAME = mycsvformat) FILES = ('myFile1.csv.gz') ON_ERROR = 'skip_file';
方法3:通过COPY INTO的文件筛选直接加载
若不想重新执行PUT操作,可直接在COPY命令中指定仅加载myFile1.csv.gz,跳过其他未修改文件:
COPY INTO MYCSVTABLE FROM @my_csv_stage FILE_FORMAT = (FORMAT_NAME = mycsvformat) FILES = ('myFile1.csv.gz') ON_ERROR = 'skip_file';
内容的提问来源于stack exchange,提问作者faujong
相关产品推荐
相关产品推荐

