ADF中无法预览Azure SQL数据集数据及动态创建数据集咨询

• 已为Azure SQL数据库创建链接服务，但在配置数据集时，无法预览表数据。
• 需要动态创建包含表、架构、视图、存储过程等所有数据库对象的数据集，实现两个SQL Server数据库之间的数据复制。

一、解决无法预览表数据的问题 #

1. 检查权限：确保链接服务使用的账号拥有目标数据库的SELECT权限，以及VIEW DEFINITION权限（用于读取元数据）。
2. 验证网络：确认Azure SQL数据库的防火墙规则允许当前服务（如Data Factory）的IP访问，或通过托管虚拟网络建立连通。
3. 核对配置：确认数据集的链接服务选择正确，架构、表名无拼写错误。

二、动态创建全量数据库对象数据集 #

方法1：Azure Data Factory元数据驱动方案 #

1. 获取对象列表：添加Get Metadata活动，关联Azure SQL链接服务，设置Field List为Child Items，指定数据库和架构，获取所有表、视图等对象。
2. 遍历执行：添加For Each活动，遍历Get Metadata输出的对象列表，循环内动态配置复制活动。
3. 动态映射：复制活动中用表达式指定源对象：@item().name，目标端自动匹配创建同名对象（需目标库有创建权限）。

方法2：T-SQL脚本批量生成对象 #

1. 查询源库元数据生成创建脚本：

-- 生成表创建脚本
SELECT 'CREATE TABLE ' + QUOTENAME(s.name) + '.' + QUOTENAME(t.name) + '(' + 
STRING_AGG(QUOTENAME(c.name) + ' ' + c.data_type + 
CASE WHEN c.is_nullable = 0 THEN ' NOT NULL' ELSE '' END, ', ') + ')'
FROM sys.tables t
JOIN sys.schemas s ON t.schema_id = s.schema_id
JOIN sys.columns c ON t.object_id = c.object_id
GROUP BY s.name, t.name;

-- 生成视图创建脚本
SELECT 'CREATE VIEW ' + QUOTENAME(s.name) + '.' + QUOTENAME(v.name) + ' AS ' + v.definition
FROM sys.views v
JOIN sys.schemas s ON v.schema_id = s.schema_id;

-- 生成存储过程创建脚本
SELECT 'CREATE PROCEDURE ' + QUOTENAME(s.name) + '.' + QUOTENAME(p.name) + ' AS ' + m.definition
FROM sys.procedures p
JOIN sys.schemas s ON p.schema_id = s.schema_id
JOIN sys.sql_modules m ON p.object_id = m.object_id;

2. 在目标库执行脚本创建对象，再通过复制活动同步数据。

方法3：使用复制数据工具批量配置 #

• 打开Azure Data Factory的复制数据工具，选择源和目标链接服务，勾选所有需要复制的对象（表、视图等），工具自动生成对应数据集和复制活动。
• 若对象数量大，可导出ARM模板，通过参数化批量部署数据集。

三、跨库复制注意事项 #

• 存储过程需单独迁移定义，可通过上述T-SQL脚本获取后在目标库执行。
• 目标库账号需具备创建对象和写入数据的权限。
• 如需增量同步，添加水印列（如LastModifiedDate），在复制活动中设置过滤条件实现增量更新。

内容的提问来源于stack exchange，提问作者Vaishnavi Vaishu