Spark驱动端与集群端代码执行位置问询：代码是否全量传输至集群？

核心结论 #

不是JavaSparkContext实例化到ctx.stop()之间的所有代码都会传输到Spark集群，只有RDD/DataSet/DataFrame的转换（transformations）和行动（actions）中的闭包逻辑会被序列化后发送到集群Executor执行，其余代码均在Driver本地JVM运行。

具体执行划分 #

1. 始终在Driver本地执行的代码 #

• JavaSparkContext（或SparkSession）的初始化、配置参数设置
• 所有不在RDD/DS/DF操作闭包内的本地逻辑：比如变量赋值、本地文件读写（非Spark API）、控制台打印、条件判断等
• RDD/DS/DF的创建操作（如parallelize()、textFile()）：这些方法由Driver触发，负责定义数据来源，但执行逻辑本身在Driver，数据分区后才会分发到集群
• ctx.stop()方法：用于关闭Spark上下文，由Driver执行

2. 会传输到集群Executor执行的代码 #

• 转换操作（transformations）中的自定义逻辑：比如map()、filter()、flatMap()里的Lambda表达式或Function接口实现。这些逻辑会被序列化，发送到集群的每个Task中，针对分区数据执行
• 行动操作（actions）中的闭包逻辑：比如foreach()、reduce()里的自定义处理逻辑，会在Executor端针对数据执行；而像collect()这类行动，是Driver触发执行，集群计算完成后将结果传回Driver

注意事项 #

• 闭包中引用的Driver端变量必须实现Serializable接口，否则会因为无法序列化传输而报错
• 如果变量仅在Driver使用，不需要传输到集群，可标记为transient避免序列化

示例代码说明 #

假设你有如下代码：

JavaSparkContext ctx = new JavaSparkContext(new SparkConf().setAppName("Demo").setMaster("local[*]"));

// Driver本地执行：创建本地集合
List<String> words = Arrays.asList("spark", "java", "driver", "executor");
// Driver触发：创建RDD，数据分块后分发到集群
JavaRDD<String> wordRdd = ctx.parallelize(words);

// 这段filter里的Lambda会被序列化传到集群执行
JavaRDD<String> longWordsRdd = wordRdd.filter(word -> word.length() > 5);

// collect()由Driver触发，集群执行过滤后将结果传回Driver
List<String> result = longWordsRdd.collect();
// Driver本地执行：打印结果
System.out.println(result);

ctx.stop();

在这段代码中：

• ctx初始化、words集合创建、System.out.println(result)、ctx.stop()都在Driver本地运行
• filter(word -> word.length() > 5)的逻辑会被传输到集群Executor，针对每个数据分区执行

内容的提问来源于stack exchange，提问作者hotmeatballsoup