如何查找Apache官网中基于Scala的Spark-streaming-kafka开源代码
Apache Spark 官方 Kafka 流处理集成组件说明
- 你需要的基于Scala实现的
spark-streaming-kafka是Apache Spark官方提供的原生流处理集成模块,相关开源代码、版本适配说明、Scala API文档均收录在Apache Spark官方站点的Streaming集成模块分区下。 - 该模块的源码存放在Spark主项目源码的
external目录下,主流的Kafka 0.10及以上版本对应kafka-0-10子目录,旧版Kafka 0.8/0.9对应kafka-0-8子目录,所有Scala实现代码均在对应子目录的src/main/scala路径下。 - 项目构建时可以直接引入官方发布的依赖包,Scala环境下的Sbt依赖示例:
// 请将版本号替换为你实际使用的Spark版本 libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-10" % "3.3.0"
Maven环境下需要在artifactId后加上对应Scala主版本后缀,例如Scala 2.12对应artifactId为spark-streaming-kafka-0-10_2.12。
提示:Spark 3.x版本开始官方优先推荐使用Structured Streaming对接Kafka,新业务场景下可以优先考虑该方案,功能和稳定性表现更优。
内容的提问来源于stack exchange,提问作者Dom
相关产品推荐
相关产品推荐

