一、修复java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream错误 #

这个错误的核心原因是Bahir版本与Spark版本不兼容，叠加依赖缺失导致的：

1. 版本兼容性是核心问题 #

Bahir的版本号严格和Spark版本对齐：

• Bahir 2.4.x 对应 Spark 2.4.x
• Bahir 3.x 对应 Spark 3.x
• Bahir 4.x 对应 Spark 4.x

你当前用的是Spark 2.4.0，却强行升级到Bahir 3.0/4.0——新版本Bahir是基于更高版本Spark开发的，依赖的Spark API、Hadoop组件版本都和Spark 2.4不匹配，直接导致运行时找不到Hadoop相关核心类（FSDataInputStream属于hadoop-common包）。

最优解决方案：

• 保持版本匹配：继续使用和Spark 2.4.x匹配的Bahir版本，比如最新稳定版2.4.3，不要随意跨版本升级Bahir。
• 若必须升级Bahir：同步升级Spark到对应版本（比如Spark 3.0+对应Bahir 3.0），同时确认Hadoop依赖版本和Spark新版本兼容。

2. 临时紧急修复（不推荐） #

如果暂时无法升级Spark，又想尝试Bahir新版本，可以手动添加Hadoop common依赖到build.sbt，指定为Runtime范围避免编译冲突：

libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.7.3" % Runtime

注：Hadoop版本要和Spark 2.4默认绑定的版本一致（Spark 2.4默认用Hadoop 2.7.x），否则可能引发新的依赖冲突。

二、Spark Structured Streaming连接ActiveMQ的替代方案 #

如果不想依赖Bahir，有以下几种可行方案：

1. 自定义Structured Streaming Source #

基于ActiveMQ官方Java客户端（比如activemq-client或artemis-jms-client），自己实现Structured Streaming的StreamSourceProvider接口。步骤大致：

• 引入ActiveMQ客户端依赖：

  libraryDependencies += "org.apache.activemq" % "activemq-client" % "5.16.5"
  

• 实现Source和StreamSourceProvider，处理ActiveMQ消息消费、offset管理等逻辑。这种方式完全可控，不受第三方库版本限制。

2. 使用Apache Camel集成 #

Apache Camel提供了丰富的消息中间件组件，支持ActiveMQ和Spark Structured Streaming的集成。可以通过Camel路由将ActiveMQ消息转发到Spark，或者直接在Spark中调用Camel组件处理消息。

3. 引入Kafka作为中间层（最稳定推荐） #

如果架构允许，通过ActiveMQ自带的Kafka桥将消息转发到Kafka，然后使用Spark官方提供的Kafka Structured Streaming Source（format("kafka")）消费消息。Spark官方对Kafka的支持成熟度高，稳定性和功能都优于Bahir的MQTT源。

三、调整后的build.sbt示例（版本匹配方案） #

// Spark dependencies（添加Provided避免集群环境依赖冲突）
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.4.0" % Provided,
  "org.apache.spark" %% "spark-mllib" % "2.4.0" % Provided,
  "org.apache.spark" %% "spark-sql" % "2.4.0" % Provided,
  "org.apache.spark" %% "spark-hive" % "2.4.0" % Provided,
  "org.apache.spark" %% "spark-streaming" % "2.4.0" % Provided,
  "org.apache.spark" %% "spark-graphx" % "2.4.0" % Provided
)

// Bahir MQTT（与Spark 2.4版本匹配）
libraryDependencies += "org.apache.bahir" %% "spark-sql-streaming-mqtt" % "2.4.3"

内容的提问来源于stack exchange，提问作者WinterSoldier