Azure Data Factory复制活动无法创建Google Cloud Storage数据集的问题咨询

1. 验证链接服务连通性 #

• 回到已创建的GCS链接服务页面，点击测试连接按钮，确认连接状态：
  • 检查服务账号密钥文件是否完整上传，client_email、private_key等核心字段无格式错误
  • 确认GCS存储桶已给服务账号邮箱分配Storage Object Creator及以上权限（如Storage Admin）
  • 若ADF启用VNet集成，需确认出站规则允许访问GCS的443端口，或已添加ADF的IP范围至GCS防火墙白名单

2. 核对数据集配置细节 #

• 创建数据集时，确保选择Google Cloud Storage类型，并关联已验证通过的链接服务
• 匹配源CSV的格式设置：
  • 确认分隔符（逗号、制表符等）与源文件一致
  • 根据源文件情况勾选第一行作为标题
  • 编码格式保持和源文件统一（如UTF-8）

3. 排查ADF操作权限 #

• 确认当前操作ADF的账号拥有Data Factory Contributor及以上角色，避免因权限不足导致创建失败
• 若使用托管标识，补充检查托管标识是否被授予GCS访问权限（GCS链接服务通常用服务账号密钥，此为补充项）

4. 清理缓存后重试 #

• 清空浏览器缓存后重新登录ADF门户，或使用无痕模式操作，排除界面缓存导致的异常

5. 检查集成运行时兼容性 #

• 确认使用的集成运行时（IR）版本支持GCS连接器，建议使用最新版托管IR或自托管IR
• 若为自托管IR，在IR所在机器执行telnet storage.googleapis.com 443，验证网络是否能连通GCS

内容的提问来源于stack exchange，提问作者Junaid Bilal