如何通过Azure Data Factory增量加载本地SQL数据至Azure Blob并按表名建文件夹？

1. 配置数据源链接 #

• 创建本地SQL Server链接服务：使用自托管集成运行时（必须，因为是本地数据源），配置SQL/Windows认证，完成后测试连接有效性。
• 创建Azure Blob Storage链接服务：通过账户密钥或托管身份完成认证，测试连接。

2. 确认增量基准字段 #

每个需要同步的本地SQL表，必须有可判断增量的字段：

• 优先选LastModifiedTime（datetime类型，数据新增/更新时自动更新）
• 无时间戳字段时，可用自增主键（如ID）

3. 创建参数化数据集 #

3.1 本地SQL数据集 #

• 新建SQL数据集，关联已创建的本地SQL链接服务。
• 开启参数化，添加TableName字符串参数，将数据集的表名设置为@dataset().TableName。
• 配置增量规则：在「增量」选项卡选择「基于时间戳的增量」，指定基准字段（如LastModifiedTime），初始增量起始值可设为一个较早的固定时间（后续ADF会自动跟踪水印）。

3.2 Blob Storage数据集 #

• 新建Blob数据集，关联Blob链接服务，选择目标文件格式（CSV/Parquet等）。
• 开启参数化，添加TableName字符串参数，将Blob文件路径设置为@concat(dataset().TableName, '/')，确保文件输出到以表名命名的文件夹中；文件名可追加时间戳避免覆盖，如@concat(utcnow(), '.csv')。

4. 构建增量加载管道 #

4.1 配置管道参数 #

给管道添加TargetTableName字符串参数，用于传递待同步的表名。

4.2 单表增量同步（基础版） #

添加Copy活动：

• 源端：选择参数化SQL数据集，将TableName参数绑定为管道的TargetTableName；在「增量复制」选项卡，启用基于时间戳的增量复制，关联数据集的基准字段，ADF会自动记录上次同步的水印值，仅同步新增/更新数据。
• 目标端：选择参数化Blob数据集，将TableName参数绑定为管道的TargetTableName，确保数据输出到对应表名的文件夹。

4.3 多表批量同步（进阶版） #

1. 添加Lookup活动：查询本地SQL的系统表（如INFORMATION_SCHEMA.TABLES），筛选出需要同步的表名列表，将查询结果作为后续活动的输入。
2. 添加ForEach活动：将Lookup返回的表名列表作为遍历对象，在ForEach内部调用上述Copy活动，将当前遍历的表名传递给TargetTableName参数。

5. 测试与调度 #

• 手动运行管道，指定单个表名验证：检查Blob Storage是否生成对应文件夹，且数据为增量内容。
• 测试通过后，添加定时触发器（如每日运行），设置触发时的表名参数（或直接启用ForEach批量同步）。

关键注意事项 #

• 自托管集成运行时需确保网络能同时访问本地SQL Server和Azure Blob Storage。
• 增量基准字段必须在数据变更时自动更新，否则会出现漏同步/重复同步问题。
• 若使用自增ID作为增量基准，需在Copy活动中设置增量条件为ID > 上次同步的最大ID，可通过变量存储或ADF水印功能实现跟踪。

内容的提问来源于stack exchange，提问作者Lucas Medina