通过Maven下载MMLSpark库依赖时报错问题求助

问题原因 #

你要下载的com.microsoft.ml.spark:mmlspark_2.11:jar:1.0.0-rc1构件没有托管在Maven默认的中央仓库，因此默认配置下Maven无法检索到对应资源。

解决方法 #

方案一：指定专用仓库下载

执行命令时直接追加MMLSpark专用仓库参数即可，完整命令如下：

mvn dependency:get -DremoteRepositories=https://mmlspark.azureedge.net/maven -DgroupId=com.microsoft.ml.spark -DartifactId=mmlspark_2.11 -Dversion=1.0.0-rc1

如果需要长期使用该仓库，可修改Maven安装目录下conf/settings.xml文件，在<repositories>节点中添加如下配置：

<repository>
  <id>mmlspark-repo</id>
  <url>https://mmlspark.azureedge.net/maven</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

配置保存后再执行原下载命令即可正常拉取。

方案二：手动安装本地jar包

先获取对应版本的jar包到本地，再执行如下命令导入到本地Maven仓库，将命令中的<jar包实际存储路径>替换为你本地的文件路径即可：

mvn install:install-file -DgroupId=com.microsoft.ml.spark -DartifactId=mmlspark_2.11 -Dversion=1.0.0-rc1 -Dpackaging=jar -Dfile=<jar包实际存储路径>/mmlspark_2.11-1.0.0-rc1.jar

注意事项 #

该版本的mmlspark基于Scala 2.11编译，你使用的Spark环境需要匹配Scala 2.11版本，否则会出现运行时类不兼容问题。

内容的提问来源于stack exchange，提问作者B_Miner