使用Synapse Analytics SQL归档Dataverse过期记录是否更具成本效益？

1. 能否仅将待删除记录同步至Synapse SQL池？ #

可以实现。Synapse Analytics Link支持基于Dataverse视图的精准同步：你可以在Dataverse中创建仅包含过期待删除记录的视图（比如通过日期字段筛选，或标记专属的待归档状态字段），然后在配置Synapse Link时选择该视图作为同步源，就能只同步目标数据，无需全表同步。

另外，也可直接在Synapse Link的同步配置中添加筛选条件，指定只同步符合过期规则的记录，进一步缩小同步范围。

2. 存储成本对比：Dataverse vs Azure Synapse SQL池 #

核心成本差异： #

• Dataverse的存储成本包含容量存储费（按GB/月计费）和操作计费（数据写入、查询等操作次数），适合活跃业务数据存储，但冷数据长期存储成本偏高。
• Azure Synapse SQL池的存储成本分两种模式：
  • 专用SQL池：存储按GB/月计费，搭配低性能层级（如DW100c）或冷存储选项，长期存储成本远低于Dataverse；计算资源可按需暂停，进一步降低开销。
  • 无服务器SQL池：存储按GB/月计费，计算按查询消耗资源计费，适合偶尔查询归档数据的场景，成本同样低于Dataverse。

全表同步的成本是否更高？ #

如果是全量同步所有数据，短期内的计算同步成本会增加，但如果仅同步过期数据（通过筛选/视图），同步成本可控。长期来看，将冷归档数据放在Synapse的低成本存储层，总成本会远低于继续保存在Dataverse中。

3. Dataverse过期数据归档方案建议 #

方案1：Synapse Link筛选同步归档（推荐） #

• 操作步骤：
  1. 在Dataverse中创建视图，筛选出所有过期待归档的记录（比如创建日期 < '2022-01-01'或归档状态 = 已标记）。
  2. 配置Synapse Analytics Link，选择该视图作为同步源，将数据同步至Synapse SQL池的冷存储层。
  3. 确认数据同步完成且校验无误后，批量删除Dataverse中的过期记录。
• 优势：同步过程自动化，后续可直接在Synapse中查询归档数据，适合需要保留查询能力的场景。

方案2：导出至Azure Blob存储归档（低成本首选） #

• 操作步骤：
  1. 使用Power Automate或Dataverse自带的导出工具，将过期数据导出为CSV/Parquet格式。
  2. 将导出文件上传至Azure Blob存储的归档存储层（成本仅为标准存储的1/10左右）。
  3. 删除Dataverse中的过期记录，如需查询可通过Synapse或Azure Data Factory临时恢复Blob数据至热层。
• 优势：存储成本极低，适合无需频繁查询的归档数据。

方案3：Azure Data Factory（ADF）批量迁移归档 #

• 操作步骤：
  1. 在ADF中创建数据管道，连接Dataverse作为数据源，添加筛选条件过滤过期数据。
  2. 将数据迁移至Synapse SQL池或Blob归档存储。
  3. 配置后续活动，批量删除Dataverse中的过期记录。
• 优势：支持复杂的筛选规则和调度策略，适合大规模、周期性的归档需求。

方案4：Dataverse内置数据保留策略（仅删除，无归档） #

如果不需要保留过期数据，可直接配置Dataverse的数据保留策略，自动删除符合规则的过期记录，无需额外同步操作。但该方案仅适用于彻底删除数据的场景，无法实现归档留存。

内容的提问来源于stack exchange，提问作者Charles Michel