Azure Data Factory数据流Sink到Azure Blob后生成额外空Blob问题咨询
关于Azure Data Factory数据流Sink到Blob存储额外生成空文件的问题解答
该现象不是所有数据流Sink到Blob场景的通用情况,属于配置异常导致的非预期行为。
常见触发原因
- Sink端
文件名选项配置错误:如果在Sink的文件名/输出路径配置中,动态表达式拼接逻辑错误,比如多写了层级回退符、表达式计算出现空值 fallback 到根路径,就会在目标文件夹上层生成空占位文件。 - 分区配置异常:如果开启了分区输出但分区列的计算逻辑异常,导致某一个分区的路径指向了Inbound文件夹的上层,会生成对应空分区文件。
- 临时文件清理逻辑故障:数据流运行过程中会先生成临时占位文件,如果运行中出现小概率的权限不足、IO超时问题,会导致部分临时文件没有被自动清理,遗落在上层目录。
排查修复方案
- 检查Sink配置的
文件路径和文件名动态表达式,确认所有拼接逻辑的输出结果都会落到provider/Inbound/目录下,没有路径回退到上层的逻辑分支。 - 检查是否开启了
根据分区动态生成路径的配置,验证分区列的取值不会出现空值、特殊字符导致路径截断的情况。 - 确认配置无误的前提下,可以在Sink配置中单独指定
临时文件夹路径,避免临时文件遗落在业务目录下。
相关参考截图




内容的提问来源于stack exchange,提问作者kayeesp
相关产品推荐
相关产品推荐

