You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何查找Apache官网中基于Scala的Spark-streaming-kafka开源代码

Apache Spark 官方 Kafka 流处理集成组件说明
  • 你需要的基于Scala实现的spark-streaming-kafka是Apache Spark官方提供的原生流处理集成模块,相关开源代码、版本适配说明、Scala API文档均收录在Apache Spark官方站点的Streaming集成模块分区下。
  • 该模块的源码存放在Spark主项目源码的external目录下,主流的Kafka 0.10及以上版本对应kafka-0-10子目录,旧版Kafka 0.8/0.9对应kafka-0-8子目录,所有Scala实现代码均在对应子目录的src/main/scala路径下。
  • 项目构建时可以直接引入官方发布的依赖包,Scala环境下的Sbt依赖示例:
// 请将版本号替换为你实际使用的Spark版本
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-10" % "3.3.0"

Maven环境下需要在artifactId后加上对应Scala主版本后缀,例如Scala 2.12对应artifactId为spark-streaming-kafka-0-10_2.12。

提示:Spark 3.x版本开始官方优先推荐使用Structured Streaming对接Kafka,新业务场景下可以优先考虑该方案,功能和稳定性表现更优。

内容的提问来源于stack exchange,提问作者Dom

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 16:51:04