ADF Sink文件命名出现-00001后缀的原因及取消方法咨询

原因 #

这个-00001后缀是Dataflow并行处理/分区写入机制导致的：

• Dataflow默认会启用并行任务提升处理效率，每个并行任务会生成带递增序号的文件（比如-00001、-00002）。
• 即便数据量很小，系统默认的并行配置也会生成单个带序号后缀的文件，这是为了统一兼容小数据量和大数据量的处理场景。

取消方法 #

可以通过以下方式去掉该后缀：

• 调整Sink分区配置：在文本Sink的设置里找到分区相关选项，将分区数设为1，或者选择「单文件输出」模式（不同版本界面表述可能有差异），强制数据写入单个无后缀的文件。注意如果数据量过大，单文件模式可能引发内存或性能问题，需根据实际情况评估。
• 优化文件名模式：在Sink的文件命名模式中使用固定命名或者{fileName}变量，同时关闭自动分区功能，阻止系统自动追加分区序号。
• 后续合并处理：如果Sink阶段无法直接避免生成带后缀的文件，可以在Dataflow任务完成后，通过ADLS批量操作、Azure Function或其他脚本工具，将带后缀的文件合并为指定名称的目标文件，再删除原分区文件。

内容的提问来源于stack exchange，提问作者D. Pendleton