Azure中如何在不整表重加载的情况下更新Parquet文件现有记录

完全可以实现，核心思路是用变更数据捕获（CDC）+ 增量合并的模式，搭配Azure生态现有工具即可落地，具体方案如下：

实现核心步骤 #

• 首先开启SQL Server源表的CDC功能，捕获每次的新增、更新、删除操作记录，无需每次扫描全表判断变更
• 用Azure Data Factory做增量同步：每次仅拉取SQL Server CDC捕获的、最近一次同步后产生的变更数据，输出为临时的增量Parquet文件存到存储层（ADLS Gen2等）
• 在Databricks中用MERGE语句完成增量数据和存量Parquet主表的合并：如果你的Parquet已经是Delta Lake格式（Databricks原生支持，不需要额外修改原有逻辑），可以直接执行合并操作，仅修改涉及变更的行对应的Parquet文件块，不会重写全表
  示例代码参考：

  MERGE INTO parquet_main_table t
  USING incremental_change_table s
  ON t.primary_key = s.primary_key
  WHEN MATCHED AND s.operation = 'UPDATE' THEN UPDATE SET *
  WHEN MATCHED AND s.operation = 'DELETE' THEN DELETE
  WHEN NOT MATCHED AND s.operation = 'INSERT' THEN INSERT *
  

• 同步完成后删除临时增量文件即可，整个过程只操作变更涉及的少量数据，成本远低于全量重加载

优化注意事项 #

• 如果你的存量Parquet还没有转成Delta Lake格式，只需要在Databricks中执行一次CONVERT TO DELTA parquet.` 转换，原有对Parquet的查询逻辑完全兼容不需要修改
• 可以按常用查询字段（比如日期、区域）对主表做分区、分桶，进一步缩小合并操作的扫描范围，提升同步效率
• 增量同步的频率可以根据你的报表时效性要求调整，从小时级到天级都支持，不需要固定每日全量跑

内容的提问来源于stack exchange，提问作者Aniket Kumar