在Azure Data Factory中实现Parquet文件分区增量写入的方法咨询

方案1：增量复制+分区写入（适用于追加场景） #

• 给源数据集配置增量复制策略，指定增量列（如update_time或自增ID），每次只拉取上次同步后新增/更新的数据
• 目标Parquet数据集开启分区配置，选择合适的分区列（如日期dt、业务类别category），Data Factory会自动将增量数据写入对应分区的Parquet文件，不会覆盖整个分区的现有文件
• 限制：仅支持往分区追加数据，无法修改已有行；如果是新增分区或追加数据，这个方案最轻量化

方案2：Lookup+条件写入（精准控制分区更新） #

• 用Lookup活动读取目标存储的分区元数据（比如分区目录列表、分区内最新数据的增量值）
• 配合Filter活动筛选出需要更新的分区，在复制活动中指定仅写入这些目标分区
• 复制活动的写入行为选择「追加」，避免误覆盖其他分区的文件

方案3：数据流（Data Flow）合并更新（支持行级修改） #

• 数据流源设置为增量数据源，读取本次需要同步的新增/更新数据
• 目标设置为Parquet数据集并开启分区，添加合并（Merge）转换：通过主键匹配目标分区的现有数据，设置规则为「匹配到的行更新，未匹配到的行插入」
• 数据流会自动读取对应分区的现有数据，合并增量后重写该分区的Parquet文件，无需手动删除原文件，这是ADF中最接近「直接分区更新」的实现方式

关键注意事项 #

• Parquet本身是列式存储格式，不支持原生行级更新，所有涉及修改已有行的操作本质是重写对应分区文件，数据流的Merge转换已经封装了这个过程
• 确保ADF对目标存储（如ADLS Gen2）有读写和目录修改权限
• 增量列必须能准确识别数据变化，优先选择更新时间戳而非创建时间戳，避免遗漏更新数据

内容的提问来源于stack exchange，提问作者Anastasia