Azure Data Factory容错设置禁用及skipErrorFile配置生效问题咨询
解决Azure Data Factory中GCS到Blob复制的容错配置禁用问题
问题原因
Azure Data Factory的门户UI在部分源-接收器组合(如Google Cloud Storage到Azure Blob Storage)下,会默认禁用容错设置的可视化选项,此时必须通过直接编辑复制活动的JSON配置来启用;若之前修改的是工厂根JSON而非复制活动的配置,会导致更改不生效。
解决方案步骤
- 定位正确的JSON配置位置:需要修改的是具体复制活动的JSON,而非ADF工厂的根级JSON文件。
- 进入复制活动的代码视图:
- 在ADF Studio中打开目标管道,选中复制活动。
- 点击右上角的代码视图图标(
</>),进入JSON编辑界面。
- 添加容错配置:在复制活动的
typeProperties节点下插入所需的skipErrorFile配置,确保结构与以下示例一致:
"typeProperties": { "source": { "type": "GoogleCloudStorageSource", "recursive": true // 根据实际需求调整 }, "sink": { "type": "AzureBlobStorageSink" }, "skipErrorFile": { "fileMissing": true, "fileForbidden": true, "dataInconsistency": true, "invalidFileName": true } }
- 正确发布配置:修改完成后,点击顶部的「全部发布」按钮,确保配置被推送到ADF服务端,仅保存不会生效。
额外注意事项
- 确认Google Cloud Storage连接器使用的是最新版本,旧版本可能不支持部分
skipErrorFile选项。 - 若管道是通过「复制数据工具」创建的,需先将其转换为常规复制活动,再进行JSON编辑。
内容的提问来源于stack exchange,提问作者Shalaka Deshpande
相关产品推荐
相关产品推荐

