如何通过Azure Data Factory将ADLS表选定列复制到Azure SQL数据库

1. 创建复制数据活动 #

• 在数据工厂管道中添加复制数据活动，这是实现数据迁移的核心组件。
• 进入活动的源选项卡：选择已创建的ADLS数据集，通过以下方式筛选目标列：
  • 若为Parquet、CSV等结构化数据源，直接在「列投影」中勾选需要的列；
  • 若需灵活筛选，可编写SQL查询（例如针对Synapse链接的ADLS，使用SELECT 列1, 列2 FROM 你的表语句）。

2. 配置目标端参数 #

• 切换到活动的目标选项卡：选择已创建的Azure SQL数据集。
• 设置写入行为：
  • 追加：往现有表中添加新数据；
  • 覆盖：清空表后写入新数据；
  • Upsert：指定键列执行更新插入逻辑。
• 在列映射选项卡中，确认源列与目标列的匹配关系，列名一致时可启用自动映射，不一致则手动调整。

3. 调试与验证 #

• 点击管道的调试按钮，测试数据复制流程。
• 查看运行日志，排查权限不足、列类型不匹配等报错，根据日志调整配置。

4. 发布与调度（可选） #

• 调试通过后，发布数据工厂资源确保配置生效。
• 若需定期同步，为管道添加触发器（定时触发器/事件触发器），设置同步时间规则。

注意事项 #

• 确保ADLS链接服务拥有数据源读取权限，Azure SQL链接服务拥有目标表写入权限；
• 若源数据为CSV等无Schema格式，需在ADLS数据集中正确配置分隔符、数据类型，避免映射错误。

内容的提问来源于stack exchange，提问作者user21510438