Spark从2.4.3升级到3.1.3后执行Graph查询出现问题

原因 #

升级spark-cassandra-connector到3.1.0后，底层依赖的Datastax Java Driver从3.x版本切换到了4.x（OSS Driver），两者包结构和API完全不兼容：

• 旧驱动的类位于com.datastax.driver.core包下
• 新OSS驱动的类位于com.datastax.oss.driver.api.core包下

你代码中使用的com.datastax.driver.core.querybuilder.Select是旧驱动的类型，但新的execute方法只接受新驱动的com.datastax.oss.driver.api.core.cql.Statement[_]或字符串参数，直接导致类型不匹配错误。

解决步骤 #

1. 替换查询构建器的导入
   把旧的导入语句：

   import com.datastax.driver.core.querybuilder.QueryBuilder
   

   替换为新OSS驱动的导入：

   import com.datastax.oss.driver.api.core.cql.querybuilder.QueryBuilder
   

2. 调整查询构建代码
   新的QueryBuilder API有语法变化，例如构建Select语句：

   • 旧写法：QueryBuilder.select().from("keyspace", "table")
   • 新写法：QueryBuilder.selectFrom("keyspace", "table")
     其他查询操作（where条件、聚合函数调用等）也需要对应适配新API的语法规则。

3. 统一驱动类导入
   确保所有相关的CQL类都使用新OSS驱动的包：

   • 替换import com.datastax.driver.core.Statement为import com.datastax.oss.driver.api.core.cql.Statement
   • 替换import com.datastax.driver.core.ResultSet为import com.datastax.oss.driver.api.core.cql.ResultSet

4. 排查并清理依赖冲突
   使用构建工具的依赖分析命令排查是否残留旧驱动依赖：

   • SBT环境：执行sbt dependencyTree，找到旧的datastax-java-driver相关依赖，在build.sbt中用exclude排除：

     libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "3.1.0" exclude ("com.datastax.cassandra", "cassandra-driver-core")
     

内容的提问来源于stack exchange，提问作者user21166408