Spark Streaming作业启动时生成大量任务的原因排查咨询

我来帮你拆解下这个问题——你看到的启动阶段那批快速完成的任务，其实是Spark Streaming初始化过程中的常见现象，主要和这几个因素有关：

• Spark默认并行度的影响
  Spark的spark.default.parallelism参数决定了RDD默认的分区数，这个值默认是集群的总核数（比如你看到的70个任务，大概率对应集群70核）。当你启动StreamingContext时，框架会提前为你的自定义Receiver对应的输入DStream创建底层RDD，这些RDD的分区数就继承了这个默认并行度，所以会生成对应数量的任务。这些任务只是做RDD分区的初始化工作，不会处理实际数据，所以能在几秒内快速完成。

• Spark Streaming的内部初始化逻辑
  日志里提到的ShuffleMapStage 0是框架内部为了管理数据流依赖生成的阶段。哪怕你没有写任何数据处理逻辑（只是转发数据到Kafka），Spark Streaming也会提前构建好输入DStream的依赖链，这个过程中会生成ShuffleMapStage和对应的任务，属于框架启动的必要步骤。

• 自定义Receiver的启动触发
  从日志里的MapPartitionsRDD[1] at start at Streaming.java:59来看，这些任务和你自定义Receiver的start()方法有关。如果你的Receiver在启动时，不小心触发了Spark的分布式操作（比如初始化某些需要在Executor上运行的资源），也会生成额外任务。不过你说Jar包里只有Receiver和Kafka Sink，没有处理器，那这个可能性相对小一些，还是前两个因素更可能。

验证和调整建议 #

如果你想确认是不是默认并行度的问题，可以在提交作业时加上--conf spark.default.parallelism=1，看看启动阶段的任务数会不会减少。不过要注意：这个参数也会影响后续Kafka Sink的并行度，如果需要提高写入吞吐量，你可以单独调整Kafka Sink的分区数，不用依赖这个全局参数。

另外，检查下你自定义Receiver的start()方法，确保里面没有调用任何Spark的action操作（比如count()、collect()）——Receiver的核心职责就是持续接收MQ数据并写入Spark内存，多余的分布式操作只会增加不必要的启动任务。

内容的提问来源于stack exchange，提问作者Asiri Liyana Arachchi