如何在Azure Data Factory Databricks任务中使用私有Artifacts Feed的JAR

• 目标场景完全可以实现，但你最初设想的「在ADF Databricks任务的追加库界面直接配置指向私有DevOps Artifacts Feed的Maven地址」的路径，没有原生的凭证配置入口，走不通。

能不能把凭证嵌入Maven仓库URL #

• 从Maven协议本身的设计来说，是支持把认证账号和令牌拼接在URL中实现无配置鉴权的，标准拼接格式为https://<DevOps用户名>:<个人访问令牌PAT>@<你的Artifacts Feed的Maven仓库地址>/<仓库路径>
• 但这个方案绝对不适合在ADF Databricks任务场景下使用，原因有两个：
  • ADF管道中填写的所有配置都是明文持久化存储的，把PAT令牌拼在URL里意味着任何拥有管道读权限的账号都可以直接拿到你的DevOps访问令牌，存在极高的凭证泄露风险
  • Azure DevOps Artifacts的私有Maven源会对请求做头部校验，带内联凭证的请求经常出现401鉴权失败，稳定性极差

可落地的合规实现方案 #

• 方案一（最稳定、官方推荐）：
  • 把Scala项目构建产出的JAR文件直接上传到你环境内的ADLS Gen2存储账户
  • 在ADF Databricks任务的追加库界面，直接选择库类型为JAR，填写存储账户内的JAR文件路径即可，完全绕开私有Maven源的鉴权问题，不需要额外配置任何凭证
• 方案二（必须走Maven拉取时的选择）：
  • 不要在ADF层面配置私有源和凭证，直接在和ADF关联的Databricks工作区层面配置集群的Maven鉴权能力
  • 通过Databricks集群的init脚本，为集群节点写入标准的Maven全局配置文件~/.m2/settings.xml，把Azure DevOps Artifacts Feed的认证信息（存储在Databricks密钥保险库中的PAT令牌）写入配置
  • 配置完成后，在ADF Databricks任务中追加Maven类型的库时，只需要填写标准的Maven坐标即可，集群启动拉取依赖时会自动读取全局Maven配置完成私有源鉴权

常见踩坑提醒 #

• ADF Databricks任务的Maven库配置入口，本身只预留了Maven坐标的填写位，没有开放自定义仓库地址、自定义仓库凭证的配置入口，就算你手动在Maven坐标栏拼接带凭证的仓库地址，ADF传给Databricks执行端时会对特殊字符做转义，90%以上的场景会出现拉包401错误
• 配置Databricks init脚本的时候，不要把PAT令牌明文写在脚本内容里，必须通过Databricks的密钥引用能力读取令牌，避免凭证泄露

内容的提问来源于stack exchange，提问作者Riku Rouvila