Spark独立部署模式下提交Kafka Streaming任务遇类找不到错误

看起来你在部署Spark Streaming任务时遇到了类找不到的错误，这个问题通常是依赖包加载异常导致的，我来帮你一步步排查解决：

1. 修复--jars参数的格式问题 #

你当前的spark-submit命令里，--jars参数的逗号后面带了空格，这会让Spark错误地把空格后的路径识别成独立的命令参数，而不是jar包列表的一部分。比如, ~/cdc/kafka-clients-0.10.0.1.jar里的空格就是核心问题之一。

修正后的执行命令：

./bin/spark-submit --class MaxwellCdc.MaxwellSreaming \
  --jars ~/cdc/kafka_2.11-0.10.0.1.jar,~/cdc/kafka-clients-0.10.0.1.jar,~/cdc/mysql-connector-java-5.1.12.jar,~/cdc/spark-streaming-kafka-0-10_2.11-2.2.1.jar \
  ~/cdc/cdc_2.11-0.1.jar

注意：所有jar包路径之间的逗号不能带空格，同时把主业务jar包放在命令末尾（这是更符合常规的写法）。

2. 确认依赖版本兼容性 #

你使用的spark-streaming-kafka-0-10_2.11-2.2.1需要和以下依赖版本严格匹配：

• Kafka客户端相关依赖（kafka-clients、kafka_2.11）必须是0.10.x系列，你当前用的0.10.0.1是符合要求的
• Spark集群的主版本必须是2.2.1，确保和spark-streaming-kafka的版本一致

3. 更省心的依赖管理方式（推荐） #

如果不想手动维护本地jar包，可以用--packages参数让Spark自动从Maven仓库拉取依赖并分发到集群，能避免路径和版本匹配的麻烦：

./bin/spark-submit --class MaxwellCdc.MaxwellSreaming \
  --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.2.1,org.apache.kafka:kafka-clients:0.10.0.1,mysql:mysql-connector-java:5.1.12 \
  ~/cdc/cdc_2.11-0.1.jar

4. 集群环境的额外注意事项 #

在Spark独立集群上运行时，还要确保：

• 所有Worker节点都能访问到--jars指定的本地jar包（比如把jar包同步到每个节点的相同路径）
• 或者将jar包上传到HDFS这类共享存储，然后用HDFS路径指定jar包位置

内容的提问来源于stack exchange，提问作者Un4g1v3n