Spark写入Cassandra遭遇NoClassDefFoundError等问题求助

1. 修复版本兼容性问题 #

你遇到的两个错误核心都是Spark与Cassandra连接器版本不匹配：

• Spark 3.3.x必须搭配3.3.x系列的spark-cassandra-connector（Scala 2.12版本），3.5.0连接器对应Spark 3.5.x，API差异会导致NoSuchMethodError。
• 不要使用普通的spark-cassandra-connector_2.12-3.3.0.jar（瘦包），它依赖的Datastax辅助类缺失会引发NoClassDefFoundError，必须用assembly胖包：spark-cassandra-connector-assembly_2.12-3.3.0.jar，该包包含所有依赖类。

重新启动Spark Shell，指定正确的胖包：

bin/spark-shell --master spark://bigdatapc:7077 \
  --driver-memory 2G \
  --executor-memory 2G \
  --total-executor-cores 2 \
  --executor-cores 1 \
  --jars postgresql-42.7.3.jar,spark-cassandra-connector-assembly_2.12-3.3.0.jar

2. 修正DataFrame与Cassandra表的字段不匹配 #

你的Cassandra表routes包含distance字段，但DataFrameroutesDF无此字段，版本问题解决后会暴露这个错误，可二选一处理：

• 修改Cassandra表：移除distance字段或设为可空

-- 移除字段
ALTER TABLE practica.routes DROP distance;
-- 或设为可空
ALTER TABLE practica.routes ALTER distance SET NULL;

• 修改DataFrame：添加distance字段并填充默认值

import org.apache.spark.sql.functions.lit
val modifiedDF = routesDF.withColumn("distance", lit(0))
modifiedDF.write
  .format("org.apache.spark.sql.cassandra")
  .option("keyspace", "practica")
  .option("table", "routes")
  .mode("Append")
  .save()

3. 额外排查点 #

• 确认Cassandra服务可访问，必要时在写入时指定连接地址：

routesDF.write
  .format("org.apache.spark.sql.cassandra")
  .option("keyspace", "practica")
  .option("table", "routes")
  .option("spark.cassandra.connection.host", "localhost") // 替换为你的Cassandra节点IP
  .mode("Append")
  .save()

• 验证Spark的Scala版本（Spark 3.3.3默认Scala 2.12）与连接器的_2.12后缀一致。

内容的提问来源于stack exchange，提问作者Nadine