Azure Synapse管道：无需额外数据库的Parquet/ADLS2增量加载最佳实践

以下是适配你的架构的几种增量加载方案，全程无需依赖额外数据库：

方案1：基于ADLS文件元数据的水印追踪 #

利用文件的lastModified时间作为水印，全程通过Synapse Pipeline活动实现：

• 步骤1：用Get Metadata活动获取源数据存储中所有待同步文件的lastModified时间，取最大值作为本次增量的起始水印。
• 步骤2：用Lookup活动读取ADLS Gen2中预先存储的水印文件（比如watermark/last_sync_time.txt），获取上一次同步的结束水印。
• 步骤3：通过If Condition活动判断起始水印是否大于结束水印，若是则执行后续复制逻辑。
• 步骤4：在Copy Data活动中，设置源文件过滤条件为lastModified > @variables('last_sync_time')，将增量文件以Parquet格式写入ADLS Gen2的指定路径（建议按日期分区）。
• 步骤5：用Write File活动将本次的起始水印写入ADLS的水印文件，覆盖旧值，完成水印更新。

方案2：基于业务字段的水印+分区存储 #

以业务数据中的时间戳字段（如update_time、create_time）作为水印，结合Parquet分区存储实现增量：

• 步骤1：确定业务水印字段（需为可排序的时间戳类型，确保源系统会更新该字段）。
• 步骤2：用Lookup活动调用Serverless SQL Pool查询ADLS中已存储Parquet数据的最大水印值，示例查询语句：

  SELECT MAX(update_time) AS last_watermark
  FROM OPENROWSET(
      BULK 'https://your_adls_account.dfs.core.windows.net/your_container/your_parquet_path/yyyy=*',
      FORMAT = 'PARQUET'
  ) AS source_data
  

• 步骤3：将查询得到的last_watermark作为变量传入Copy Data活动的源过滤条件，比如在源数据集的查询语句中添加WHERE update_time > @variables('last_watermark')。
• 步骤4：将增量数据写入ADLS的对应分区路径（如yyyy=2024/mm=05/dd=20），避免全量扫描。
• 步骤5：无需额外维护水印文件，下次同步时直接从Parquet数据中读取最新水印值即可。

方案3：利用Synapse Pipeline内置增量复制功能 #

直接借助Pipeline的原生能力实现，无需手动编写水印逻辑：

• 在Copy Data活动中启用「增量复制」模式，选择业务水印字段作为增量判断依据。
• 在增量设置中，指定ADLS Gen2的路径存储水印文件（如watermark/copy_watermark.json），Pipeline会自动完成水印的读取、对比、更新操作。
• 该方案适合源数据为结构化数据源（如SQL数据库、API等）的场景，配置简单高效。

关键注意事项 #

• 水印文件权限：确保Synapse Pipeline的服务主体对ADLS的水印存储路径有读写权限，避免水印更新失败。
• 分区优化：按业务增量频率（日/小时）设置Parquet文件的分区规则，减少Serverless查询水印时的数据扫描量，提升性能。
• 重复数据处理：由于Parquet不支持更新，若源系统存在重复增量数据，可在Serverless聚合阶段通过ROW_NUMBER()窗口函数按业务主键和水印字段取最新记录，实现逻辑上的去重/更新。
• 异常处理：添加Try-Catch活动包裹同步逻辑，若同步失败，需保留旧水印值，避免下次同步丢失数据。

内容的提问来源于stack exchange，提问作者ciufy13