配置Spark+JanusGraph+Gremlin Scala的Build.sbt编译报错求助
解决IntelliJ中Spark+JanusGraph+Gremlin Scala的编译错误
看起来你的问题源于依赖版本不匹配和缺失必要的依赖包,以下是具体的解决方案:
问题根源分析
- 找不到
gremlin.scala对象:你使用了%引入gremlin-scala依赖,没有自动匹配项目的Scala版本(2.11.11),导致sbt拉取的包与项目环境不兼容。 - JanusGraph没有
asScala方法:gremlin-scala通过隐式转换为JanusGraph实例提供asScala方法,但依赖未正确加载时,这些隐式转换不会生效。另外你还缺失了JanusGraph内存存储的实现依赖,后续运行也会出问题。
修改后的build.sbt配置
version := "1.0" scalaVersion := "2.11.11" // 使用%%自动匹配Scala版本,确保gremlin-scala与项目环境兼容 libraryDependencies += "com.michaelpollmeier" %% "gremlin-scala" % "2.3.0" // Spark依赖添加Provided标记,避免打包时与集群环境冲突 libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.1" % Provided libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.1" % Provided libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.2.1" % Provided libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.2.1" % Provided // JanusGraph核心依赖+内存存储实现 libraryDependencies += "org.janusgraph" % "janusgraph-core" % "0.2.0" libraryDependencies += "org.janusgraph" % "janusgraph-inmemory" % "0.2.0" libraryDependencies ++= Seq( "ch.qos.logback" % "logback-classic" % "1.2.3" % Test, "org.scalatest" %% "scalatest" % "3.0.3" % Test ) resolvers ++= Seq( Resolver.mavenLocal, "Sonatype OSS" at "https://oss.sonatype.org/content/repositories/public", "JanusGraph Releases" at "https://repo1.maven.org/maven2/org/janusgraph/" )
关键修改说明
- gremlin-scala依赖调整:将
%改为%%,sbt会自动拉取与Scala 2.11.11匹配的gremlin-scala包,解决找不到gremlin.scala的问题。 - 添加JanusGraph内存存储依赖:JanusGraph 0.2.0的内存存储实现不在核心包中,必须单独引入才能正常使用
storage.backend=inmemory配置。 - Spark依赖的
Provided标记:Spark集群环境已包含这些核心依赖,打包时无需打入,避免依赖冲突。 - 补充JanusGraph仓库:确保sbt能正确拉取JanusGraph的相关依赖包。
后续操作
修改完build.sbt后,在IntelliJ中点击右上角的Reload All SBT Projects按钮,让sbt重新加载依赖。之后你的测试代码应该就能正常编译了——gremlin-scala的隐式转换会自动生效,gr.asScala()方法也能被识别。
内容的提问来源于stack exchange,提问作者J.Doe
相关产品推荐
相关产品推荐

