使用Spark Connector将DataFrame写入Couchbase时遭遇NoClassDefFoundError报错求助

这个错误的核心原因很明确：你的Spark任务依赖中缺少了RxJava的Jar包。Couchbase 2.x版本的Java客户端依赖RxJava来处理异步操作，rx.functions.Func2正是RxJava库中的核心类，没有它客户端无法正常工作。

下面是具体的解决步骤：

1. 添加缺失的RxJava依赖包 #

你需要在spark-submit的--jars参数中加入RxJava的Jar包。注意要选择和你使用的Couchbase Java客户端版本兼容的RxJava版本——比如你用的java-client-2.4.2，对应的兼容RxJava版本是1.3.8（这个版本是经过官方测试匹配的）。

修改后的spark-submit命令如下：

spark-submit --class Test --master yarn-cluster --deploy-mode cluster --queue default --jars spark-connector_2.10-1.2.0.jar,couchbase-client-1.4.12.jar,core-io-1.3.3.jar,java-client-2.4.2.jar,rxjava-1.3.8.jar test_2.10-1.0.jar

2. 修正代码中的配置错误 #

另外注意到你代码里的Couchbase配置有两处错误，虽然不是当前报错的原因，但会导致后续连接失败：

• 密码配置项应该是spark.couchbase.password，而不是com.couchbase.password
• Bucket配置项的前缀是spark.couchbase.bucket.，你的写法框架没问题，但要确保后面的xx是你的实际Bucket名称

修正后的配置代码：

val conf = new SparkConf()
conf.set("spark.couchbase.nodes", "xxx.cloud.io")
conf.set("spark.couchbase.username", "Administrator")
conf.set("spark.couchbase.password", "xxx") // 修正参数名
conf.set("spark.couchbase.bucket.xx", "xx")
conf.set("spark.couchbase.connectTimeout", "50000") // 统一使用spark.couchbase.前缀

3. 更优雅的依赖管理方式（可选） #

如果你的项目使用Maven或SBT构建，建议直接通过构建工具管理依赖，这样能自动处理依赖传递，避免手动找Jar包的麻烦。比如SBT配置：

libraryDependencies ++= Seq(
  "com.couchbase.client" %% "spark-connector" % "1.2.0",
  "com.couchbase.client" % "java-client" % "2.4.2"
)

构建工具会自动下载包括RxJava在内的所有依赖，打包时可以用assembly插件生成包含所有依赖的Jar包，提交任务时就不需要手动指定一堆--jars了。

内容的提问来源于stack exchange，提问作者R.al