Azure Data Factory数据接收器生成随机文件名的原因排查
Azure Data Factory数据流输出随机文件名原因解析
- 分布式并行处理特性:ADF数据流基于Spark运行,会自动把数据拆分成多个分区并行处理,每个分区会输出一个以
part-开头的文件,随机后缀是为了避免多分区写入时的文件名冲突,这是分布式处理的默认行为。 - 数据集与接收器配置未指定固定文件名:如果你的CSV数据集只配置了目标存储容器和路径,没明确设置固定文件名;同时数据流接收器的「文件名选项」设为了「自动生成」,就会触发默认的随机命名规则。
- 与Copy活动的运行机制差异:Copy活动属于单节点或可控并行的批量拷贝,支持直接指定固定文件名;但数据流是分布式计算框架,默认按分区输出文件,若不额外配置合并或固定命名,就会生成带随机后缀的分区文件。
如果需要固定文件名,你可以在数据流接收器中:
- 将「文件名选项」改为「指定文件名」,输入你想要的固定名称;
- 开启「合并文件」选项(在接收器的「优化」标签下),确保所有分区数据合并为单个文件输出。
内容的提问来源于stack exchange,提问作者Julian
相关产品推荐
相关产品推荐

