Azure Blob增量数据加载及Blob内文件合并问题咨询

问题1：如何从源数据存储向Azure Blob中的目标数据存储增量加载数据？ #

• 用Azure Data Factory (ADF) 做增量复制
  配置源数据集时，开启增量复制策略：如果源是关系型数据库，基于时间戳列、自增ID这类增量标识筛选；如果源是ADLS Gen2或Blob存储，直接用文件最后修改时间过滤。复制活动选“增量复制”模式，ADF会自动跟踪已同步的数据，只传新增或更新的内容。
• 借助ADLS Gen2的Change Feed
  如果源是ADLS Gen2存储账户，先启用Change Feed功能，它会捕获存储里文件的创建、修改、删除操作。读取Change Feed日志，筛选出需要同步的增量数据，再写入目标Blob。
• 自定义脚本/SDK实现
  用Azure Storage SDK（比如.NET、Python版）写逻辑：记录上次同步的时间戳或文件列表，每次同步时对比源数据的更新时间或文件差异，只复制新增/修改的文件或数据块。也可以配合AzCopy的sync命令：azcopy sync <源路径> <目标Blob路径> --recursive，这个命令会自动对比源和目标的文件，只同步有变化的内容。

问题2：Azure Blob中是否有合并两个JSON文件的方案？ #

Azure Blob存储本身没有原生的文件合并功能，得靠外部工具或Azure服务来实现，常用方案如下：

• 用Azure Functions合并
  创建Blob触发的Azure Function，新文件上传时，读取已有的output.json和新文件内容。根据JSON结构处理合并：如果是数组，直接把两个数组合并；如果是对象，整合键值对（注意提前确定重复键的覆盖规则）。最后把合并后的内容写入新Blob文件（比如merged_output.json），原文件保留不动。
• 通过Azure Data Factory数据流动合并
  在ADF里建数据流动，分别读取两个JSON文件作为数据源。用“联合”转换合并数组内容，或者用派生列、合并转换整合对象字段。把处理后的结果写入目标Blob的新文件。
• 本地脚本+AzCopy操作
  用AzCopy把两个JSON文件下载到本地：azcopy copy <Blob路径1> <本地路径>、azcopy copy <Blob路径2> <本地路径>。写个脚本（比如Python、PowerShell）读取文件内容并完成合并逻辑，再用AzCopy把合并后的文件上传回Blob：azcopy copy <本地合并文件路径> <目标Blob路径>。

内容的提问来源于stack exchange，提问作者Gautham Srinivasan