如何在Azure Data Factory中避免向Azure表存储插入重复数据？

下面是几种实用方案，按需选择：

方案1：Lookup活动+过滤（适合小批量数据） #

先查询Azure表存储中已有的唯一键组合，再从SQL数据源过滤掉重复数据后插入：

• 步骤1：Lookup读取已有键
  添加一个Lookup活动，连接到Azure表存储，查询所有已存在的CustomerNumber和SubscriptionNumber组合。如果表存储的PartitionKey/RowKey是基于这两列设计的（比如用CustomerNumber作PartitionKey，SubscriptionNumber作RowKey），可以使用更高效的查询语句：

  PartitionKey eq '@{variables('customerNumber')}' and RowKey eq '@{variables('subscriptionNumber')}'
  

  若未做此设计，只需查询并返回这两列即可，减少数据传输量。
• 步骤2：过滤SQL数据
  使用Copy活动或数据流，将SQL作为数据源。可以在SQL查询中用NOT EXISTS子句过滤Lookup查到的已有键，也可以在数据流中做左反连接。示例SQL查询（假设Lookup结果存储在数组变量existingKeys中）：

  SELECT * FROM YourSQLTable
  WHERE NOT EXISTS (
      SELECT 1 FROM (VALUES
          @{join(variables('existingKeys'), ',')}
      ) AS Existing(CustNum, SubNum)
      WHERE YourSQLTable.CustomerNumber = Existing.CustNum 
        AND YourSQLTable.SubscriptionNumber = Existing.SubNum
  )
  

• 步骤3：插入表存储
  将过滤后的结果通过Copy活动插入Azure表存储，写入行为选择Insert即可。

方案2：数据流左反连接（适合大数据量） #

数据流适合处理大规模数据，无需将所有已有键加载到内存：

• 步骤1：配置两个数据源
  在数据流中添加两个源：一个连接SQL数据库（读取待插入的全量数据），另一个连接Azure表存储（仅读取CustomerNumber和SubscriptionNumber列）。
• 步骤2：左反连接去重
  添加一个“Join”转换，选择**左反连接（Left Anti）**类型。连接条件设置为SQL源.CustomerNumber == 表存储源.CustomerNumber且SQL源.SubscriptionNumber == 表存储源.SubscriptionNumber。左反连接会保留SQL源中存在但表存储源中不存在的记录，也就是需要插入的新数据。
• 步骤3：写入表存储
  添加“Sink”转换连接到Azure表存储，写入行为选择Insert，完成无重复插入。

方案3：利用表存储的键约束（最直接） #

如果可以调整Azure表存储的PartitionKey和RowKey设计，将CustomerNumber设为PartitionKey，SubscriptionNumber设为RowKey（或把两者拼接成字符串作为RowKey），表存储会自动保证这组键的唯一性：

• 当Copy活动尝试插入重复的PartitionKey+RowKey组合时会抛出错误，此时可以开启Copy活动的容错设置，选择跳过错误行；也可以使用数据流的“Upsert”行为，但Upsert会更新已有记录，若不需要更新则不推荐。
• 这种方式无需提前查询过滤，但需要确保表存储的键设计符合唯一性要求，且能接受插入错误行的跳过处理。

内容的提问来源于stack exchange，提问作者Ahmed ilyas