Copy Data活动接收器验证：如何基于目标表过滤源数据

数据源信息 #

• SourceDataset：Source_SQL_DB
• DestinationDataset：Destination_SQL_DB
• SourceTable：SourceTableName（列：Name,Age,Gender,Location）
• DestinationTable：DestinationTableName（列：Name,Age,Gender,Location）

业务场景 #

在将源数据加载到接收器表前，需校验确保目标表无待加载值。当前通过Copy Data活动直接加载数据，但存在两个核心问题：

问题与解决方案 #

问题1：源查询中引用目标表Location过滤 #

Copy Data活动的源默认仅关联SourceDataset，要引用目标表数据，分两种场景处理：

1. 同SQL实例跨库查询
   如果源库和目标库在同一SQL Server实例下，直接使用完全限定表名即可访问目标表，示例查询：

SELECT * FROM Source_SQL_DB.dbo.SourceTableName 
WHERE Location IN (SELECT DISTINCT Location FROM Destination_SQL_DB.dbo.DestinationTableName)

注意替换实际的schema（如dbo），且确保源数据库的登录账号拥有目标表的读取权限。

2. 跨实例使用Lookup活动预取数据
   若源库和目标库不在同一实例，先添加一个Lookup活动，连接DestinationDataset，执行查询：

SELECT DISTINCT Location FROM DestinationTableName

接着在Copy Data活动的源查询中，参数化引用Lookup的输出结果：

SELECT * FROM SourceTableName 
WHERE Location IN (@{join(activity('Lookup_Location').output.value, ',')})

如果Location是字符串类型，需为每个值添加引号，修改join逻辑：

SELECT * FROM SourceTableName 
WHERE Location IN (@{join(activity('Lookup_Location').output.value, '"' + item().Location + '"')})

问题2：检查源数据Name是否存在于目标表，存在则不插入 #

同样分两种场景处理，且推荐使用NOT EXISTS替代NOT IN（避免NULL值导致的逻辑错误）：

1. 同SQL实例跨库查询
   直接用完全限定表名过滤，示例：

SELECT s.* FROM Source_SQL_DB.dbo.SourceTableName s
WHERE NOT EXISTS (
    SELECT 1 FROM Destination_SQL_DB.dbo.DestinationTableName d
    WHERE d.Name = s.Name
)

若坚持使用NOT IN，需确保目标表的Name列无NULL值，示例：

SELECT * FROM Source_SQL_DB.dbo.SourceTableName 
WHERE Name NOT IN (SELECT DISTINCT Name FROM Destination_SQL_DB.dbo.DestinationTableName)

2. 跨实例使用Lookup活动预取数据
   先通过Lookup活动获取目标表所有Name值：

SELECT DISTINCT Name FROM DestinationTableName

然后在Copy Data活动的源查询中参数化过滤：

SELECT s.* FROM SourceTableName s
WHERE NOT EXISTS (
    SELECT 1 FROM UNNEST(@{activity('Lookup_Name').output.value}) d
    WHERE d.Name = s.Name
)

或使用NOT IN（注意字符串引号处理）：

SELECT * FROM SourceTableName 
WHERE Name NOT IN (@{join(activity('Lookup_Name').output.value, '"' + item().Name + '"')})

内容的提问来源于stack exchange，提问作者Raj