能否通过Azure Pipeline从每日全量文件向ADW加载近2天数据？

当然可以搞定这个需求！Azure Pipeline里有好几种方法能帮你从每日的全量数据文件里精准过滤出最近2天的数据，再加载到Azure Data Warehouse（ADW）。我给你拆解几个实用的方案，你可以根据自己的场景选：

如果你的数据文件是CSV、Parquet这类结构化格式，直接用Copy Activity就能实现过滤，不用额外的转换步骤：

• 在Pipeline里新建一个Copy Activity，源端选你的文件存储（比如Blob Storage、ADLS Gen2）
• 进入源的配置面板，找到「Query」或者「Filter」选项（不同文件类型叫法略有不同），根据文件格式写过滤逻辑：
  • 举个CSV的例子，假设日期字段叫data_date，格式是yyyy-MM-dd：

    SELECT * FROM your_source_file WHERE data_date >= DATEADD(day, -2, GETDATE())
    

  • Parquet这类列式存储的语法类似，只要适配对应格式的查询规则就行
• 目标端配置成ADW的目标表，运行这个Copy Activity，就能只把最近2天的数据加载进去

如果你的文件格式复杂，或者需要顺便做数据清洗，Azure Data Flow会更灵活：

• 在Pipeline里添加Data Flow活动，新建一个Data Flow
• 先加一个「源」节点，连接到你的全量数据文件；然后添加「过滤」转换节点
• 在过滤转换里设置条件：data_date >= currentDate() - days(2)（这是Data Flow的内置函数，自动计算当前日期往前推2天的范围）
• 最后加一个「接收器」节点，连接到ADW的目标表，配置好字段映射
• 把这个Data Flow活动放到Pipeline里，按每日调度运行就可以了

要是上面两种方式不适合你的场景，也可以用“先全量加载，再SQL筛选”的传统思路：

• 先用Copy Activity把全量文件加载到ADW的一个临时表（比如staging_data）
• 再添加一个「SQL脚本」活动，运行插入语句从临时表筛选最近2天的数据到正式表：

  INSERT INTO your_target_table
  SELECT * FROM staging_data
  WHERE data_date >= DATEADD(day, -2, GETDATE())
  
  -- 可选：清空临时表，方便下次加载使用
  TRUNCATE TABLE staging_data
  

• 把这两个活动按顺序串联到Pipeline里，确保全量加载完成后再执行SQL过滤插入

小提醒 #

• 要注意文件里data_date字段的格式和你用的过滤函数兼容，如果格式不匹配，记得先做格式转换（比如用Data Flow的「派生列」或者Copy Activity的映射转换）
• 如果你的业务时区和UTC不同，计算时间范围的时候要调整时区参数，避免过滤出错误的数据

内容的提问来源于stack exchange，提问作者Sreepu