绕开SHIR，如何用SQL命令在Azure Data Factory中加载测试数据集？

前提说明 #

这里以Azure SQL Database作为SQL数据源（无需SHIR即可直接和ADF连通），目标数据集选用Azure Blob存储CSV数据集为例，全程无需依赖Self-Hosted Integration Runtime。

1. 准备SQL测试数据 #

先在你的Azure SQL Database中创建测试表并插入数据，执行以下SQL语句：

-- 创建测试表
CREATE TABLE TestData (
    ID INT PRIMARY KEY,
    Name VARCHAR(50),
    Value DECIMAL(10,2)
);

-- 插入测试数据
INSERT INTO TestData VALUES
(1, 'Sample1', 100.50),
(2, 'Sample2', 200.75),
(3, 'Sample3', 300.00);

2. 在ADF中创建SQL链接服务 #

• 登录ADF门户，进入你的数据工厂
• 左侧导航栏选择「管理」→「链接服务」→「+ 新建」
• 搜索并选择「Azure SQL Database」，点击「继续」
• 填写链接服务名称，选择对应的Azure SQL服务器和目标数据库，选择身份验证方式（如SQL身份验证，输入数据库账号密码），点击「测试连接」确认连通后，点击「创建」

3. 创建SQL源数据集 #

• 左侧导航栏选择「数据」→「数据集」→「+ 新建」
• 搜索「Azure SQL Database」，点击「继续」
• 填写数据集名称，选择刚才创建的SQL链接服务，在「表名」下拉框中选中TestData表，点击「确定」

  如果你想用自定义SQL查询而非整张表，后续在复制活动中可以切换为查询模式

4. 创建目标数据集（Azure Blob CSV） #

• 确保你已拥有Azure存储账户和Blob容器
• 新建数据集，搜索「Azure Blob存储」，选择「CSV」格式后点击「继续」
• 填写数据集名称，新建或选择已有的Blob存储链接服务，指定目标容器和文件路径（如test-data/adf-test-output.csv），配置CSV格式参数（分隔符、编码等），点击「确定」

5. 创建复制管道并配置SQL源 #

• 左侧导航栏选择「创作」→「管道」→「+ 新建管道」
• 在活动面板搜索「复制数据」，拖到画布上
• 配置复制活动：
  • 源选项卡：选择创建好的SQL源数据集，勾选「使用查询」，输入自定义SQL命令（如SELECT ID, Name, Value FROM TestData WHERE ID > 1），或直接使用整张表数据
  • 接收器选项卡：选择创建好的Blob目标数据集，设置写入行为（如「覆盖」或「追加」）
• 点击画布上方的「调试」按钮，运行管道，等待执行完成

6. 验证数据加载结果 #

• 登录Azure存储账户，进入目标Blob容器，找到生成的CSV文件，下载查看内容是否符合预期
• 也可在ADF中选中目标数据集，点击「预览数据」直接查看加载后的内容

内容的提问来源于stack exchange，提问作者user77853