Azure Data Factory 多源文件合并、格式转换、标识附加及增量检测咨询

核心两类处理流程 #

• 多目录CSV合并处理：针对Blob容器内跨多层级子目录分散存储的多份CSV文件，逐份执行可配置的起始行跳过逻辑（支持常规单头部行、多段连续起始行的自定义跳过规则），剔除无效起始内容后，将所有文件的有效数据内容合并为单个CSV文件存入Blob目标路径，后续可直接通过已调试完成的BULK INSERT、OPENROWSET流程导入SQL Server或Synapse表，无需调整现有导入环节。
• 多JSON格式转CSV合并处理：定位指定文件夹下的所有JSON文件（单份文件内嵌多条结构化业务记录），逐份完成JSON到标准CSV格式的转换，再将所有转换后的CSV有效内容统一合并为单份CSV文件存入Blob目标路径。

附加规则适配逻辑 #

• 未导入文件筛选与标识附加：管道启动阶段优先查询SQL Server内的已导入文件登记台账，仅拉取未完成导入的文件清单（清单包含唯一整数fileid、对应源文件的Blob完整路径）；最终生成的合并CSV需在首列新增对应fileid字段（源CSV/JSON文件本身无该列），JSON转换场景下，同一份源JSON解析生成的所有数据行，统一复用该文件对应的fileid值，保证文件标识与数据行一一对应。
• 增量文件检测：Blob根目录按文件类型划分一级分类文件夹，各类文件夹下会随业务新增动态生成多层级子目录；管道需支持自动识别距上次作业成功运行的时间阈值窗口（如最近30分钟），递归扫描所有层级子目录下的新增文件，覆盖全路径范围无漏检。
• 性能适配要求：整体方案基于ADF原生能力搭建，满足多文件、大体积文件的快速高效处理要求，可直接集成到现有生产管道中复用已配置的连接、权限资源，无需额外改造现有环境。

内容的提问来源于stack exchange，提问作者Gokhan