Java环境下Spark MLlib无法导入（Cannot resolve symbol 'ml'）求解决方法

这个问题我之前帮同事排查过，核心原因很简单：你只添加了Spark核心（spark-core）的依赖，但MLlib（机器学习模块）是Spark的独立子模块，需要单独引入对应的依赖包才能使用org.apache.spark.ml下的类。

具体解决步骤： #

1. 添加Spark MLlib的Maven依赖
   在你的pom.xml中，除了已有的spark-core依赖，新增以下依赖（注意版本和Scala版本要和你当前的spark-core完全一致，这里是2.3.0和2.11）：

   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-mllib_2.11</artifactId>
       <version>2.3.0</version>
   </dependency>
   

2. 刷新项目依赖并重新编译

   • 如果用IDEA/Eclipse这类IDE，点击Maven面板的「刷新」按钮，让IDE自动下载新依赖。
   • 也可以在项目根目录执行命令手动更新：

     mvn clean install -U
     

补充说明： #

Spark 2.x版本中，机器学习API分为两个分支：

• org.apache.spark.ml：基于DataFrame的高级API（你现在要导入的Vectors就属于这个分支）
• org.apache.spark.mllib：基于RDD的传统API
  这两个分支的类都包含在spark-mllib_2.11依赖中，所以添加这个依赖后，两种API的类都能正常导入使用。

内容的提问来源于stack exchange，提问作者ltrd